通過著名媒體《連線》,AI初創(chuàng)公司Cerebras Systems正式公布了史上最大的的單晶圓芯片——Cerebras Wafer Scale Engine,英偉達(dá)最大的GPU都不及它的“邊角”。
簡單來說,Cerebras 打破了傳統(tǒng)的技術(shù)限制,將一整個(gè)300mm硅片直接做成了一顆芯片,因此“大”是人們對它的第一印象,但不止于大。
據(jù)悉,這款芯片擁有40萬個(gè)核(4核處理器的10萬倍),其處理能力能夠支持大量計(jì)算,同時(shí)它利用了硅互連的先進(jìn)封裝工藝,實(shí)現(xiàn)硅片級別的高速通信和存儲(chǔ),這在理論上讓整顆芯片能夠用最快的速度調(diào)用算力處理極為復(fù)雜的AI任務(wù)。
Cerebras Wafer Scale Engine = 整個(gè)服務(wù)器集群
目前,官方透露出來的關(guān)鍵指標(biāo)如下:
· 硅片大小42225平方毫米(邊長大約22cm)
· 1.2萬億個(gè)晶體管
· 40萬個(gè)AI內(nèi)核
· 18GB的片上內(nèi)存
· 存儲(chǔ)帶寬19PB/S
· 架構(gòu)互聯(lián)(Fabric型)帶寬100PB/S
· 采用了臺積電16nm工藝
從透露的消息可以看出,這顆芯片擁有史上最大的片上存儲(chǔ)空間(英偉達(dá)最好GPU的3000倍)、最多的AI核(每一個(gè)核相當(dāng)于一個(gè)小型計(jì)算機(jī))和最高的通信速度(最高性能GPU的10000倍內(nèi)存帶寬)。
Cerebras Systems CEO Andrew Fieldman在一份聲明中說,“Cerebras WSE專為AI而設(shè)計(jì),其中包含了不少基礎(chǔ)創(chuàng)新,解決了限制芯片尺寸的長達(dá)數(shù)十年的技術(shù)挑戰(zhàn),如單晶圓良率、功率輸出、封裝等。其中,所有架構(gòu)設(shè)計(jì)都是為了優(yōu)化AI工作的性能??偟膩碚f,WSE只需要較小功耗和空間,就能提供數(shù)百或數(shù)千倍的現(xiàn)有解決方案的性能?!?/p>
圖 | Hot Chips活動(dòng)現(xiàn)場介紹WSE
據(jù)悉,因具備了存儲(chǔ)、計(jì)算和通信三大關(guān)鍵元素,且完全基于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),現(xiàn)有AI系統(tǒng)所需要處理的張量處理操作、數(shù)據(jù)存儲(chǔ)和通信都能夠在WSE上完成,同時(shí)WSE將集群通信架構(gòu)理念做進(jìn)了這款芯片里,突破了傳統(tǒng)帶寬的限制,帶來了低延遲,同時(shí)避免了不必要的性能損失。
將網(wǎng)絡(luò)通信做進(jìn)芯片里,這不僅帶來AI芯片計(jì)算能力的改善,也讓用戶可以基于它建設(shè)更高質(zhì)量的網(wǎng)絡(luò)。所以與其說它是一臺超級計(jì)算機(jī),倒不如說,WSE更像是將一個(gè)服務(wù)器集群系統(tǒng)“做”進(jìn)了晶圓里。
值得一提的是,考慮到單個(gè)晶圓在制造過程中會(huì)出現(xiàn)一些雜質(zhì),從而導(dǎo)致芯片故障的問題,Cerebras Systems 的芯片設(shè)計(jì)是留有裕量的,能夠保證一個(gè)或者少量雜質(zhì)不會(huì)使整個(gè)芯片失效,這也保證了芯片的穩(wěn)定性。
散熱會(huì)成為大問題嗎?
很多人初次看到這樣一種配置,不免會(huì)為Andrew擔(dān)心:這么大一塊芯片,散熱要怎么做?
不得不說,目前為止,各大新聞中都未提及這款芯片的功耗問題。但不難想象,與我們看見的傳統(tǒng)“指甲蓋”大小的芯片相比,這款芯片的功耗一定不會(huì)低。
對此,Andrew表示,這款芯片不會(huì)單獨(dú)銷售,而是將被打包到Cerebras設(shè)計(jì)的計(jì)算機(jī)“設(shè)備”中。原因是它需要一個(gè)復(fù)雜的水冷系統(tǒng)去散熱。據(jù)悉,這個(gè)水冷系統(tǒng)是一種灌溉網(wǎng)絡(luò),可以抵消以15千瓦功率運(yùn)行的芯片產(chǎn)生的極端熱量。
因?yàn)樯?,這款芯片無法作為加速卡插入現(xiàn)有的任何服務(wù)器。在這種設(shè)計(jì)下,可以猜測它的功率一定會(huì)很高,但與它所要替代的系統(tǒng)集群比較來看,它的功耗也算是很低了。
不過相較于散熱,業(yè)內(nèi)人士更為關(guān)心它是不是能夠按照預(yù)想跑起來,“目前來看,這款芯片真正的問題是大量內(nèi)核,如何讓40萬個(gè)核保持協(xié)同和有效,這需要嚴(yán)格考量?!?/p>
商用之路在何方?
對于大家對WSE商用的懷疑,在斯坦福大學(xué)的Hotchips活動(dòng)上,Cerebras已經(jīng)透露,這款芯片并非空有其表,現(xiàn)在已經(jīng)在跑客戶的任務(wù)負(fù)載了。
目前,從計(jì)算角度來看,這一輪人工智能浪潮中最關(guān)鍵的算法應(yīng)用是深度學(xué)習(xí),將深度學(xué)習(xí)算法應(yīng)用到AI場景中,需要完成兩大核心運(yùn)算:訓(xùn)練和推理。WSE是為AI專門設(shè)計(jì)的,因此可以猜測它的目標(biāo)市場無非訓(xùn)練和推理。
但是這樣一款在散熱上、價(jià)格上都不會(huì)“輕松”的芯片,市場真的會(huì)買單嗎?或者說哪部分市場可能會(huì)買單?
對此,Micron的研究員Eugenio Culurciello表示,Cerebras芯片的規(guī)模和雄心是瘋狂的,不過它能解決大算力需求的場景(如自動(dòng)駕駛)所需,雖然很昂貴,但有些人可能會(huì)使用它。
事實(shí)上,從市場需求的角度出發(fā),WSE如果真的實(shí)測成功且能夠量產(chǎn),它將極有可能首先撼動(dòng)英偉達(dá)的GPU市場,即訓(xùn)練市場。相比于推理市場,因訓(xùn)練任務(wù)重且訓(xùn)練時(shí)間長,訓(xùn)練市場多以算力至上,對芯片的價(jià)格、功耗并不敏感,所以Cerebras芯片更有可能在訓(xùn)練市場獲得成功,這也將再次顛覆訓(xùn)練市場的格局。
而推理市場呢?從目前的情況來看,端側(cè)推理市場沒有過高算力需求,且對低功耗的要求十分嚴(yán)苛,WSE大概率不會(huì)出現(xiàn)在這部分市場。不過在云端和邊緣側(cè)的推理市場,WSE如果不能很好處理功耗和散熱問題,這也都會(huì)為商用增加阻力。
據(jù)Andrew本人自己的估計(jì),用WSE來部署云計(jì)算基礎(chǔ)設(shè)施,總體成本將會(huì)是現(xiàn)有造價(jià)的1/10。
過于美麗、過于超出公眾認(rèn)知是這款芯片的最大特點(diǎn),因此在Cerebras正式將這款芯片推出之前,大家對它的疑慮其實(shí)難以消除:
“在我們看到Benchmark測試結(jié)果之前,我們很難說它的AI設(shè)計(jì)有多好?!?/p>
如Cerebras在推特上告訴大家:Stay tuned。只能靜候佳音。
最后,關(guān)于Cerebras Systems
Cerebras Systems成立于 2016 年,專注于為數(shù)據(jù)中心訓(xùn)練提供芯片產(chǎn)品,曾被CB Insights評為“全球最值得期待的100家芯片公司”。
資料顯示,該公司曾于2016年完成2500萬美元A輪融資,投資方為知名風(fēng)投Benchmark,后又獲得多輪融資,截止2017年9月共獲得1.12億美元融資,估值8.6億美元。
公司的創(chuàng)始團(tuán)隊(duì)背景實(shí)力也十分強(qiáng)勁,聯(lián)合創(chuàng)始人及CEO Andrew Feldman曾經(jīng)創(chuàng)立過芯片公司SeaMicro,后在2012年,這家公司被AMD以3.34億美元收購。
圖 | Andrew Feldman
在Andrew創(chuàng)辦Cerebras Systems之時(shí),有兩大重量級人物加盟。一位是曾在Sun擔(dān)任過高級芯片設(shè)計(jì)師、低功耗芯片設(shè)計(jì)的元老級人物Gary Lauterbach,另一位是前 Intel 公司架構(gòu)副總裁、數(shù)據(jù)中心首席技術(shù)官Dhiraj Mallick。
因?yàn)橛袕?qiáng)大的團(tuán)隊(duì)坐鎮(zhèn),Cerebras Systems成立之時(shí)就注定不容忽視。現(xiàn)在,這家公司已有194名員工。