模仿樹(shù)狀樹(shù)枝的電子設(shè)備構(gòu)成了神經(jīng)元用來(lái)相互通信的網(wǎng)絡(luò),這可能會(huì)導(dǎo)致人工智能,不再需要云中的兆瓦電力。一項(xiàng)新的研究表明,人工智能將能夠依靠智能手機(jī)電池的電量運(yùn)行。
隨著被稱(chēng)為神經(jīng)網(wǎng)絡(luò)的模擬人工智能系統(tǒng)的規(guī)模和功率的增長(zhǎng),它們變得越來(lái)越昂貴和能源匱乏。例如,為了訓(xùn)練其最先進(jìn)的神經(jīng)網(wǎng)絡(luò)GPT-3,OpenAI花費(fèi)460萬(wàn)美元在兩周內(nèi)運(yùn)行9200個(gè)GPU。加州斯坦福大學(xué)神經(jīng)形態(tài)工程師、研究作者Kwabena Boahen表示,GPT-3在訓(xùn)練過(guò)程中消耗的能量在同一時(shí)間內(nèi)會(huì)釋放出多達(dá)1300輛汽車(chē)尾氣排放的碳。
現(xiàn)在,Boahen為AI系統(tǒng)提出了一種方法,以提高其傳輸?shù)拿總€(gè)信號(hào)中傳遞的信息量。他說(shuō),這可能會(huì)減少他們目前所需的能源和空間。
在神經(jīng)網(wǎng)絡(luò)中,被稱(chēng)為神經(jīng)元的組件被輸入數(shù)據(jù),并合作解決問(wèn)題,例如識(shí)別人臉。神經(jīng)網(wǎng)絡(luò)反復(fù)調(diào)整神經(jīng)元周?chē)耐挥|,以修改每個(gè)突觸的“權(quán)重”,即一個(gè)神經(jīng)元對(duì)另一個(gè)神經(jīng)元的影響強(qiáng)度。然后,網(wǎng)絡(luò)確定所產(chǎn)生的行為模式是否更善于找到解決方案。隨著時(shí)間的推移,系統(tǒng)會(huì)發(fā)現(xiàn)哪些模式最適合計(jì)算結(jié)果。然后,它采用這些模式作為默認(rèn)模式,模仿人腦的學(xué)習(xí)過(guò)程。如果一個(gè)神經(jīng)網(wǎng)絡(luò)擁有多層神經(jīng)元,它就被稱(chēng)為“深層”。(例如,GPT-3擁有1750億個(gè)權(quán)重,連接了相當(dāng)于830萬(wàn)個(gè)384層深的神經(jīng)元。)
目前,人工智能的進(jìn)步是每?jī)蓚€(gè)月執(zhí)行兩倍的計(jì)算。然而,電子行業(yè)僅每?jī)赡陮?zhí)行這些操作所需的設(shè)備增加一倍。這意味著人工智能通常僅限于云,云可以提供所需的數(shù)千個(gè)處理器。
以前,降低計(jì)算能耗的一種方法是縮小晶體管并將它們密集地封裝在一起。然而,這種策略的回報(bào)正在減少,因?yàn)榫w管之間的信號(hào)現(xiàn)在必須在微芯片上傳播得越來(lái)越遠(yuǎn),而且電線越長(zhǎng),信號(hào)消耗的能量就越多??s短這些距離的一種策略是在三維空間中將電路堆疊在一起,但這種方法會(huì)減少可用于散熱的表面積。
為了解決這個(gè)問(wèn)題,Boahen提出了一種人工智能系統(tǒng)在傳遞更多信息的同時(shí)發(fā)送更少信號(hào)的方法。為了實(shí)現(xiàn)這一目標(biāo),他建議,這些系統(tǒng)可能希望模擬一部分與目前不同的生物神經(jīng)元。他認(rèn)為,與其模仿突觸,不如模仿神經(jīng)元之間的空間,它們應(yīng)該模仿稱(chēng)為樹(shù)突的結(jié)構(gòu)。
生物神經(jīng)元有三個(gè)主要部分:樹(shù)突、軸突和細(xì)胞體,它們分別類(lèi)似于樹(shù)的樹(shù)枝、根和樹(shù)干。樹(shù)突是神經(jīng)元從其他細(xì)胞(例如,另一個(gè)神經(jīng)元的軸突)接收信號(hào)的地方。突觸是將樹(shù)突或軸突與另一個(gè)細(xì)胞分離的空間。
樹(shù)突可以大量分支,允許一個(gè)神經(jīng)元與其他許多神經(jīng)元連接。先前的研究發(fā)現(xiàn),樹(shù)突從其分支接收信號(hào)的順序決定了其響應(yīng)的強(qiáng)度。當(dāng)樹(shù)突從其頂端到其莖部連續(xù)接收信號(hào)時(shí),其響應(yīng)比從其莖部到其頂端連續(xù)接收這些信號(hào)時(shí)更強(qiáng)烈。
基于這些發(fā)現(xiàn),Boahen開(kāi)發(fā)了一個(gè)樹(shù)突的計(jì)算模型,只有當(dāng)樹(shù)突以精確的順序接收到來(lái)自神經(jīng)元的信號(hào)時(shí)才會(huì)做出反應(yīng)。這意味著每個(gè)枝晶可以編碼數(shù)據(jù),而不是像今天的電子元件一樣,只以2個(gè)1或0為基數(shù),開(kāi)或關(guān)。它將使用更高的基礎(chǔ)系統(tǒng),這取決于它擁有的連接數(shù)量和它接收的信號(hào)序列的長(zhǎng)度。
Boahen建議,一系列鐵電電容器可以模擬一段枝晶,取代場(chǎng)效應(yīng)晶體管的柵極堆疊,形成鐵電FET(FeFET)。他說(shuō),一個(gè)1.5微米長(zhǎng)的五柵極FeFET可以模擬一個(gè)15?m長(zhǎng)的具有五個(gè)突觸的樹(shù)突。
在人腦中,一個(gè)神經(jīng)元可以與數(shù)千個(gè)其他神經(jīng)元相連。Boahen說(shuō),這一人工版本可能證明“在3D芯片中是可行的”。
Boahen和他的同事現(xiàn)在獲得了200萬(wàn)美元的國(guó)家科學(xué)基金會(huì)贈(zèng)款,用于探索這種“dendrocentric learning”方法。11月30日,他在《自然》雜志上詳細(xì)闡述了這一概念。
更多信息可以來(lái)這里獲取==>>電子技術(shù)應(yīng)用-AET<<