前言：
目前英特爾和IBM在內(nèi)的企業(yè)正積極探索超低功耗神經(jīng)模態(tài)芯片在不同領(lǐng)域的應(yīng)用，在未來(lái)幾年內(nèi)隨著AI＋I(xiàn)oT的發(fā)展，神經(jīng)模態(tài)計(jì)算將會(huì)迎來(lái)一波新的熱潮。
人工神經(jīng)網(wǎng)絡(luò)基本模型
人工神經(jīng)網(wǎng)絡(luò)的概念以及基本神經(jīng)元模型于1943年就已提出，這正是試圖模擬腦皮層以神經(jīng)元網(wǎng)絡(luò)形式進(jìn)行信息處理的體現(xiàn)。
卷積神經(jīng)網(wǎng)絡(luò)的局部感受野是受到大腦視覺(jué)系統(tǒng)的啟發(fā)。深度神經(jīng)網(wǎng)絡(luò)的層級(jí)構(gòu)建是源于腦皮層的分層通路。
只不過(guò)在深度學(xué)習(xí)的后續(xù)發(fā)展中，研究者更加偏重把神經(jīng)網(wǎng)絡(luò)視為一個(gè)黑匣，用于擬合從輸入到輸出的復(fù)雜映射關(guān)系：
只需要給網(wǎng)絡(luò)的輸出定義一個(gè)收斂目標(biāo)（目標(biāo)函數(shù)，比如每張圖像的輸出對(duì)應(yīng)到正確的類(lèi)別）并描述為一個(gè)優(yōu)化問(wèn)題，然后用梯度下降的方式去更新系統(tǒng)參數(shù)主要是突觸權(quán)重，使得輸出逐漸逼近想要的結(jié)果。
原則上網(wǎng)絡(luò)越大，特征提取的能力就會(huì)越強(qiáng)，也就需要越多的數(shù)據(jù)來(lái)訓(xùn)練網(wǎng)絡(luò)更新參數(shù)使網(wǎng)絡(luò)收斂，因此計(jì)算量也大幅增加。
故而，深度學(xué)習(xí)也被稱(chēng)為數(shù)據(jù)和算力驅(qū)動(dòng)的智能。雖然深度學(xué)習(xí)以解決實(shí)際應(yīng)用為目標(biāo)而與神經(jīng)科學(xué)漸行漸遠(yuǎn)，但近兩年也有科學(xué)家試圖在大腦中找到梯度下降的證據(jù)和吸收新的腦科學(xué)成果。
而機(jī)器學(xué)習(xí)是目前人工智能模型中最卓有成效的一個(gè)分支，而深度學(xué)習(xí)又是當(dāng)今機(jī)器學(xué)習(xí)的寵兒，其以人工神經(jīng)網(wǎng)絡(luò)為主要模型。
人工神經(jīng)網(wǎng)絡(luò)由大量神經(jīng)元通過(guò)突觸連接而成，從輸入到輸出呈現(xiàn)層級(jí)結(jié)構(gòu)，當(dāng)層數(shù)較多時(shí)則被稱(chēng)為深度神經(jīng)網(wǎng)絡(luò)。
相比于全連接神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)引入二維特征圖與突觸核的卷積操作獲得了強(qiáng)大的局部特征提取能力，被廣泛用于圖像處理領(lǐng)域。
而反饋神經(jīng)網(wǎng)絡(luò)通過(guò)引入反饋連接，建立時(shí)序動(dòng)力學(xué)模型，被廣泛用于處理語(yǔ)音文本等時(shí)序數(shù)據(jù)。
神經(jīng)模態(tài)計(jì)算的重要意義
①目前的深度學(xué)習(xí)僅能實(shí)現(xiàn)人類(lèi)大腦極小一部分的功能，距離人類(lèi)的智能還有非常遠(yuǎn)的距離，而使用神經(jīng)模態(tài)計(jì)算直接模仿神經(jīng)元系統(tǒng)在人工神經(jīng)元數(shù)量足夠多時(shí)，或?qū)⒂邢Ｍ軐?shí)現(xiàn)比起深度學(xué)習(xí)更好的效果，更接近人類(lèi)大腦。
②目前深度學(xué)習(xí)計(jì)算在部署上遇到的困難是能效比和延遲問(wèn)題，在對(duì)于功耗要求非常低的物聯(lián)網(wǎng)領(lǐng)域，以及對(duì)于延遲要求非常高的領(lǐng)域無(wú)人駕駛領(lǐng)域，部署深度學(xué)習(xí)會(huì)遇到很大的挑戰(zhàn)。
恰好神經(jīng)模態(tài)計(jì)算則可以解決這兩大問(wèn)題。
①神經(jīng)模態(tài)計(jì)算的一大優(yōu)勢(shì)就是其計(jì)算功耗與輸入有關(guān)，在輸入不會(huì)激活大量神經(jīng)元的情況下，其功耗可以做到非常低。
②對(duì)于物聯(lián)網(wǎng)應(yīng)用來(lái)說(shuō)，神經(jīng)模態(tài)計(jì)算可以利用這樣的規(guī)律，僅僅在需要的時(shí)候激活神經(jīng)元消費(fèi)能量來(lái)完成事件識(shí)別，而在其他沒(méi)有事件的時(shí)候由于神經(jīng)元未被激活因此功耗很低，從而實(shí)現(xiàn)遠(yuǎn)低于深度學(xué)習(xí)芯片的平均功耗。
③神經(jīng)模態(tài)計(jì)算并非常規(guī)的馮諾伊曼架構(gòu)，神經(jīng)模態(tài)計(jì)算芯片一般也不會(huì)搭配DRAM使用，而是直接將信息儲(chǔ)存在了神經(jīng)元里。這樣就避免了內(nèi)存墻帶來(lái)的功耗和延遲問(wèn)題，因此神經(jīng)模態(tài)計(jì)算芯片的延遲和能效比都會(huì)好于傳統(tǒng)的深度學(xué)習(xí)。
國(guó)外技術(shù)寡頭優(yōu)勢(shì)明顯
近日，英特爾發(fā)布了基于其神經(jīng)模態(tài)計(jì)算芯片Loihi的加速卡Pohoiki Beach，該加速卡包含了64塊Loihi芯片，共含有八百多萬(wàn)個(gè)神經(jīng)元。
繼IBM發(fā)布True North、英特爾發(fā)布Loihi之后，Pohoiki Beach又一次讓神經(jīng)模態(tài)計(jì)算走進(jìn)了聚光燈下。
深度神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)，當(dāng)前，深度學(xué)習(xí)領(lǐng)域目前面臨的一大挑戰(zhàn)是，主流DNNs都是計(jì)算和存儲(chǔ)密集型的，這導(dǎo)致在邊緣和嵌入式設(shè)備的部署面臨巨大的挑戰(zhàn)。
為此，英特爾研究院提出了從動(dòng)態(tài)網(wǎng)絡(luò)手術(shù)DNS、漸進(jìn)網(wǎng)絡(luò)量化INQ到MLQ多尺度編碼量化的低精度深度壓縮解決方案。
通過(guò)這些布局可獲得百倍DNN模型無(wú)損壓縮性能。根據(jù)AlexNet測(cè)試結(jié)果，該項(xiàng)簡(jiǎn)潔的解決方案能夠超越主流深度壓縮方案至少一倍，在2／4－bit精度下達(dá)到超過(guò)100倍的網(wǎng)絡(luò)壓縮。
IBM研究人員在活動(dòng)上詳細(xì)介紹了數(shù)字和模擬AI芯片的AI新方法，它的數(shù)字AI芯片首次采用8位浮點(diǎn)數(shù)成功訓(xùn)練了深度神經(jīng)網(wǎng)絡(luò)，同時(shí)在一系列深度學(xué)習(xí)模型和數(shù)據(jù)集上完全保持了準(zhǔn)確性。
這些更廣泛的問(wèn)題需要更大規(guī)模的神經(jīng)網(wǎng)絡(luò)、更大的數(shù)據(jù)集和多模態(tài)數(shù)據(jù)集，為此IBM需要改變架構(gòu)和硬件來(lái)實(shí)現(xiàn)這一切。
IBM大膽預(yù)測(cè)，GPU在AI中的主導(dǎo)地位正在結(jié)束。GPU能夠?yàn)閳D形處理進(jìn)行大量的并行矩陣乘法運(yùn)算，這種矩陣乘法碰巧與神經(jīng)網(wǎng)絡(luò)所需的完全相同，這非常重要。
因?yàn)闆](méi)有那些GPU，我們永遠(yuǎn)無(wú)法達(dá)到我們今天在AI性能方面已經(jīng)達(dá)到的性能水平。隨著IBM掌握的更關(guān)于如何實(shí)現(xiàn)人工智能的知識(shí)，也在尋找設(shè)計(jì)出更高效硬件的方法和途徑。
對(duì)于32位計(jì)算來(lái)說(shuō)，必須在32位上進(jìn)行計(jì)算。如果可以在16位上計(jì)算，那基本上是計(jì)算能力的一半，或者可能是芯片面積的一半甚至更少。
如果可以降到8位或4位，那就更好了。所以，這是在面積、功率、性能和吞吐量方面的巨大勝利——關(guān)乎我們能夠以多快的速度完成這一切。
IBM還在IEDM大會(huì)上展示了所謂的8位精度內(nèi)存乘法與設(shè)計(jì)中的相變內(nèi)存。IBM發(fā)表了一項(xiàng)關(guān)于新型內(nèi)存計(jì)算設(shè)備的研究，與當(dāng)今的商業(yè)技術(shù)相比，該設(shè)備的計(jì)算能耗水平要低100－1000倍，非常適合于邊緣AI應(yīng)用，例如自動(dòng)駕駛、醫(yī)療監(jiān)控和安全性。
IBM的不同之處是相信完整的AI解決方案需要加速推理和訓(xùn)練，其正在開(kāi)發(fā)和逐漸發(fā)展成熟可用于推理和訓(xùn)練的非易失性?xún)?nèi)存元件。
結(jié)尾：
隨著英特爾和IBM在內(nèi)的企業(yè)正積極探索超低功耗神經(jīng)模態(tài)芯片在不同領(lǐng)域的應(yīng)用，在未來(lái)幾年內(nèi)伴隨AI＋I(xiàn)oT的發(fā)展，神經(jīng)模態(tài)計(jì)算將會(huì)迎來(lái)一波新的熱潮。