新上任的亞馬遜網(wǎng)絡(luò)服務(wù)負(fù)責(zé)人Adam Selipsky 周五表示,公司設(shè)計(jì)更多自己的芯片,強(qiáng)調(diào)客戶的成本收益。
“到目前為止,我們已經(jīng)設(shè)計(jì)了幾種不同的芯片,未來還會(huì)有更多,”AWS 首席執(zhí)行官 Adam Selipsky 在接受外媒采訪時(shí)表示。
“其中一個(gè)最新的稱為Graviton2,它實(shí)際上比基于 x86 的同類芯片對(duì)客戶的性價(jià)比高 40%,”Selipsky 說,指的是對(duì)英特爾處理器至關(guān)重要的一組指令。
Adam Selipsky 發(fā)表上述言論之際,全球經(jīng)濟(jì)正經(jīng)歷半導(dǎo)體短缺,這已使許多行業(yè)陷入困境,并強(qiáng)調(diào)了芯片在日益數(shù)字化的世界中的重要性。
盡管亞馬遜和其他大型科技公司多年來一直致力于內(nèi)部芯片設(shè)計(jì),但一些專家認(rèn)為,與大流行相關(guān)的芯片緊縮只會(huì)加速這些正在進(jìn)行的努力。
Graviton2 是一種數(shù)據(jù)中心處理器芯片,英特爾在半導(dǎo)體行業(yè)的一個(gè)領(lǐng)域中占有強(qiáng)勢地位。今年 3 月,以科技為重點(diǎn)的新聞網(wǎng)站 The Information 報(bào)道稱,亞馬遜還致力于為硬件交換機(jī)制造網(wǎng)絡(luò)芯片,用于在網(wǎng)絡(luò)中移動(dòng)數(shù)據(jù)。
今年早些時(shí)候,Selipsky 在他的前任 Andy Jassy 被提拔接替Jeff Bezos擔(dān)任亞馬遜 CEO之后接任了 AWS 的最高職位。Adam Selipsky 曾擔(dān)任Salesforce旗下數(shù)據(jù)可視化軟件公司 Tableau 的首席執(zhí)行官。
在此之前,Selipsky 是 AWS 的銷售、營銷和支持副總裁,AWS 是亞馬遜不斷發(fā)展的帝國中至關(guān)重要且利潤豐厚的部分。自 2014 年以來,盡管產(chǎn)生的收入遠(yuǎn)低于核心電子商務(wù)部門,但它一直貢獻(xiàn)了公司一半以上的營業(yè)收入。
亞馬遜的芯片自研之路
在2015年,亞馬遜方面表示,公司已經(jīng)同以色列芯片公司Annapurna Labs達(dá)成了收購協(xié)議,這可以看作是亞馬遜芯片業(yè)務(wù)的開端。
據(jù)介紹,以色列芯片制造商Annapurna Labs,由Avigdor Willenz一手創(chuàng)立。他曾創(chuàng)建另一家芯片公司Galileo Technologies,不過該公司2000年被Marvell科技集團(tuán)以27億美元收購。
資料顯示,在被亞馬遜收購的時(shí)候,Annapurna Labs公司主要研發(fā)微處理器,這種微處理器可以讓低功率的的計(jì)算服務(wù)器和存儲(chǔ)服務(wù)器快速地運(yùn)行數(shù)據(jù)。Annapurna Labs是過去10年中以色列國內(nèi)成長起來的優(yōu)秀初創(chuàng)型芯片廠商之一。盡管仍是一家初創(chuàng)型企業(yè),但是它在此前的私募融資中已經(jīng)籌集到數(shù)千萬美元的資金。
到了2017年年底,亞馬遜斥資9,000萬美元低調(diào)收購安全監(jiān)視器供應(yīng)商Blink,這被認(rèn)為是亞馬遜在芯片行動(dòng)上的提速。亞馬遜看中了Blink的省電芯片,打算用于旗下各種物聯(lián)網(wǎng)(IoT)裝置,包括Cloud Cam、Echo智能音響等。
進(jìn)入2018年,亞馬遜則終于開始發(fā)布自家的芯片。2018年11月,亞馬遜在美國發(fā)布機(jī)器學(xué)習(xí)芯片AWS Inferentia,AWS Inferentia是一款機(jī)器學(xué)習(xí)推理芯片,支持TensorFlow、Apache MXNet和PyTorch深度學(xué)習(xí)框架,以及使用ONNX格式的模型。不過亞馬遜并不打算直接向用戶銷售這款芯片。
2018年12月, 亞馬遜 推出首款自研Arm架構(gòu)云服務(wù)器CPU Graviton,目標(biāo)直指英特爾。Graviton的問世顯示出亞馬遜AWS想要擺脫英特爾的決心。
2019年1月,據(jù)媒體媒體透露,亞馬遜旗下的AWS與三星風(fēng)險(xiǎn)投資、Avery Dennison共同參與了無線技術(shù)公司W(wǎng)iliot公司價(jià)值 3000萬美元的B輪投資。2018年11初,亞馬遜攜手英特爾,微軟和美國明石風(fēng)投投資了AI芯片初創(chuàng)公司Syntiant。這一系列的投資和自研動(dòng)作,都顯示著亞馬遜正在由“軟”向“硬”演變。
2019年年底,亞馬遜的云服務(wù)業(yè)務(wù)AWS在其發(fā)布會(huì)AWS re:Invent上發(fā)布了兩款新的云端服務(wù)器芯片,分別是高性能處理器芯片Graviton2和高性能機(jī)器學(xué)習(xí)加速芯片Inferentia
亞馬遜的Graviton2處理器是亞馬遜研發(fā)的第二代高性能云端處理器芯片。Graviton2基于ARM的高端Neoverse核,使用7nm半導(dǎo)體工藝制造,晶體管數(shù)量高達(dá)300億,相比上一代芯片核心數(shù)增加了4倍,且處理器性能也大大提升。Graviton2處理器為云計(jì)算相關(guān)應(yīng)用做了不少優(yōu)化,首先是浮點(diǎn)運(yùn)算能力較上一代有不少提升,此外在指令集上計(jì)入了對(duì)于機(jī)器學(xué)習(xí)推理應(yīng)用的支持,以及在芯片上集成了亞馬遜自研的數(shù)據(jù)編解碼加速器。相比于基于x86處理器的解決方案,Graviton2處理器可以大大提升性能并降低成本,性能/成本比提升可達(dá)40%。在軟件上,Grativon2處理器能兼容主流的開源Unix操作系統(tǒng)和Docker容器,這也從很大程度上解決了ARM服務(wù)器端處理器生態(tài)的問題。
除了高性能處理器之外,亞馬遜發(fā)布的另一款芯片是Inferentia,用于加速機(jī)器學(xué)習(xí)推理計(jì)算。根據(jù)亞馬遜公布的指標(biāo),Inferentia芯片能提供128TOPS的算力,并支持INT-8和FP-16/bfloat-16計(jì)算類型。亞馬遜同時(shí)公布了幾種搭載了Inferentia芯片的服務(wù)器配置,最高性能的版本搭載了16顆Inferentia芯片,從而能提供高達(dá)2000TOPS的峰值算力。
2020年9月,亞馬遜在發(fā)布新一代Echo的時(shí)候,帶來了其新款的定制芯片——AZ1神經(jīng)邊緣處理器?!霸谔幚碇校瑫r(shí)間很重要,” Amazon Echo副總裁Miriam Daniel在亞馬遜的設(shè)備和服務(wù)團(tuán)隊(duì)主辦的虛擬活動(dòng)中說。她解釋說:“想象一下,要求Alexa打開燈,如果有延遲,這會(huì)很抓狂。” “我們的團(tuán)隊(duì)非常努力地將Alexa的響應(yīng)時(shí)間削減了數(shù)百毫秒的時(shí)間”。她接著說。
這是通過他們的新的AZ1神經(jīng)邊緣處理器,一個(gè)專門用于在邊緣運(yùn)行機(jī)器學(xué)習(xí)算法的新芯片實(shí)現(xiàn)的。它與在AZ1上運(yùn)行的新的神經(jīng)語音識(shí)別模型配合使用。
亞馬遜高管表示, AZ1神經(jīng)邊緣處理器是與半導(dǎo)體制造商聯(lián)發(fā)科技(MediaTek Inc.)合作開發(fā)的一部分。通過本地處理語音命令,它將使Echo能夠更快地回答用戶問題。早期的智能揚(yáng)聲器必須將語音命令發(fā)送到云進(jìn)行處理,然后等待結(jié)果返回,但這會(huì)延遲Alexa的響應(yīng)。
該公司的工程師對(duì)芯片進(jìn)行了重大設(shè)計(jì)改進(jìn),以促進(jìn)性能提升。AZ1被描述為能夠以二十分之一的功耗為語音處理任務(wù)提供亞馬遜上一代芯片兩倍的性能。而且,它的內(nèi)存使用量降低了85%,這進(jìn)一步有助于提高硬件效率。
2021年,據(jù)The Information報(bào)道,亞馬遜正在為其硬件網(wǎng)絡(luò)交換機(jī)開發(fā)定制的硅芯片。據(jù)說這些芯片可以幫助亞馬遜改善其內(nèi)部基礎(chǔ)設(shè)施以及AWS,這是亞馬遜于2015年以3.5億美元收購以色列芯片制造公司Annapurna Labs的目的之一。
報(bào)道進(jìn)一步指出,亞馬遜為其交換機(jī)構(gòu)建芯片可以幫助其解決自身基礎(chǔ)架構(gòu)中的瓶頸和問題,特別是如果他們還定制構(gòu)建在其上運(yùn)行的軟件時(shí)。亞馬遜已經(jīng)建立了自己的交換機(jī),但是它依靠Broadcom為其提供芯片支持。對(duì)于公司來說,完全控制這些機(jī)器是很有意義的,特別是考慮到其Web服務(wù)業(yè)務(wù)的重要性。The Information援引Amazon提供的機(jī)器學(xué)習(xí)軟件(目前運(yùn)行在Annapurna芯片上)的話,他們甚至有可能通過新的交換機(jī)提供一些以前無法提供的服務(wù)。
亞馬遜自研芯片對(duì)云服務(wù)的影響
亞馬遜今年發(fā)布最新的自研云端服務(wù)器芯片意味著云服務(wù)市場的格局在大數(shù)據(jù)-人工智能時(shí)代相比之前有了深遠(yuǎn)的改變,而這個(gè)改變最關(guān)鍵的部分就是算力成為了越來越重要的性能指標(biāo)。
上一代云計(jì)算主要承載的業(yè)務(wù)是讓有IT需求的公司把IT系統(tǒng)在云端執(zhí)行,這樣就省去了本地的維護(hù)成本。舉例來說,一家公司需要架設(shè)一個(gè)內(nèi)部的ERP系統(tǒng),在沒有云服務(wù)的時(shí)候需要自己去購買服務(wù)器,還需要組建一支專業(yè)的IT團(tuán)隊(duì)來負(fù)責(zé)服務(wù)器硬件的維護(hù),這樣就讓IT服務(wù)的成本變得比較高。而有了云服務(wù)之后,這類系統(tǒng)可以直接在云服務(wù)商的數(shù)據(jù)中心完成,公司無需再去購買服務(wù)器也不用擔(dān)心服務(wù)器的穩(wěn)定/維護(hù)/升級(jí)問題,這樣就大大降低了成本。公司需要做的無非就是確保選擇正確的云服務(wù)商,并保證有穩(wěn)定的網(wǎng)絡(luò)連接。由此可見,上一代云服務(wù)主打的賣點(diǎn)往往是服務(wù)器帶寬,云服務(wù)穩(wěn)定性,云服務(wù)系統(tǒng)部署簡易性等等,總而言之更偏向于服務(wù)質(zhì)量,但是與硬件關(guān)系不大。
隨著云計(jì)算進(jìn)入大數(shù)據(jù)和人工智能時(shí)代,云計(jì)算的需求也與時(shí)俱進(jìn)。目前,云計(jì)算的概念已經(jīng)深入人心,因此大量公司的網(wǎng)絡(luò)業(yè)務(wù)都已經(jīng)上云,而隨著人工智能和大數(shù)據(jù)業(yè)務(wù)逐漸變?yōu)橹髁鳎朴?jì)算對(duì)于大數(shù)據(jù)和人工智能的支持也需要跟上。而這一代基于深度學(xué)習(xí)的人工智能浪潮對(duì)于算力的需求尤其大,算力正在成為新的基礎(chǔ)設(shè)施,因此,我們認(rèn)為云服務(wù)的核心競爭力正在慢慢轉(zhuǎn)向算力。
由于算力正在成為云計(jì)算的核心競爭力,因此硬件對(duì)于云計(jì)算來說也變得越來越重要。在上一代云計(jì)算中,對(duì)于硬件的需求非常單純,只需要普通的服務(wù)器級(jí)別x86處理器搭配足夠大的內(nèi)存和SSD即可,而隨著對(duì)于算力的需求提升,對(duì)于硬件的需求也在快速提升,且呈現(xiàn)專門化。如果總結(jié)亞馬遜云計(jì)算中算力相關(guān)硬件芯片的迭代,我們可以清楚地看到一條由通用走向?qū)S们倚阅芸焖偬嵘牡缆?。最早的云?jì)算使用傳統(tǒng)的CPU,隨著人工智能變得火熱,帶有GPU的云服務(wù)器進(jìn)入了主流視野。相比面向通用計(jì)算的CPU,GPU主要支持人工智能訓(xùn)練和推理計(jì)算,通用性下降了一些但是算力提升了數(shù)百倍。在之后,亞馬遜發(fā)現(xiàn)GPU的性能還不夠好,尤其是在大量的人工智能推理任務(wù)上,因此這次發(fā)布了Inferentia ASIC用于高性能低成本推理計(jì)算。
放眼未來,我們認(rèn)為云計(jì)算越來越強(qiáng)調(diào)算力的勢頭還將繼續(xù),我們渴望看到更多的云計(jì)算服務(wù)商加入提升算力的行列,同時(shí)也將看到硬件和芯片將在云計(jì)算領(lǐng)域的地位越來越重要,成為算力的核心支柱。
亞馬遜自研云端芯片對(duì)于半導(dǎo)體行業(yè)的影響
亞馬遜大力投資自研云端服務(wù)器芯片意味著云端服務(wù)器芯片的市場格局發(fā)生變化,通用的CPU和GPU無法覆蓋整個(gè)市場需求。
從技術(shù)層面上來說,隨著深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型對(duì)于算力的需求快速提升,這意味著將催生高性能計(jì)算芯片市場較快發(fā)展。業(yè)界和學(xué)界對(duì)于高性能計(jì)算芯片的探究在數(shù)十年內(nèi)從未停下,但是在人工智能時(shí)代到來之前,由于高性能計(jì)算的市場始終有限,因此相關(guān)技術(shù)的資本投入較小,主要是實(shí)驗(yàn)性質(zhì)的探索,新技術(shù)產(chǎn)品化落地的比例并不大。
但是隨著高性能計(jì)算在人工智能時(shí)代成為主旋律,對(duì)于新一代高性能計(jì)算技術(shù)的需求呼之欲出,因此我們預(yù)期會(huì)看到更多技術(shù)上的突破被真正產(chǎn)品化。我們認(rèn)為,有以下的幾個(gè)技術(shù)有很大的潛力:
?。?)chiplet技術(shù)。在高性能計(jì)算領(lǐng)域,芯片為了追求性能會(huì)集成越來越多的晶體管,同時(shí)會(huì)需要使用最先進(jìn)的半導(dǎo)體工藝制造。然而,“集成越來越多的晶體管”和“使用最新半導(dǎo)體工藝”這兩件事在摩爾定律遇到瓶頸的今天存在一定矛盾,因?yàn)樵谧钚掳雽?dǎo)體工藝下的大芯片良率會(huì)下降,成本也會(huì)大大提升。因此,一個(gè)解決方案就是chiplet,把一塊大芯片拆成多個(gè)小的chiplet并使用高級(jí)封裝技術(shù)做集成互聯(lián),從而實(shí)現(xiàn)性能和成本間的折衷。
?。?)眾核技術(shù)。在大數(shù)據(jù)人工智能時(shí)代,對(duì)于算力要求很高的計(jì)算往往是可以并行化的,因此可望通過眾核技術(shù)來解決并行計(jì)算的問題。下一代眾核技術(shù)需要能相比GPU的SIMT擁有更強(qiáng)的數(shù)據(jù)流支持,并提供更好的眾核間數(shù)據(jù)通信方案,從而提供更好的性能。
(3)可重構(gòu)和異構(gòu)計(jì)算技術(shù)??芍貥?gòu)和異構(gòu)技術(shù)其實(shí)是一個(gè)硬幣的兩面,分別代表了通用性和專用性。使用可重構(gòu)計(jì)算能實(shí)現(xiàn)較好的通用性,但是代價(jià)是性能上會(huì)有一定損失;異構(gòu)計(jì)算則強(qiáng)調(diào)極端性能,但是一旦任務(wù)改變,則會(huì)讓芯片閑置,從而帶來dark silicon問題。如何在可重構(gòu)和異構(gòu)計(jì)算之間找到一個(gè)這種平衡點(diǎn)將是未來的一個(gè)重要技術(shù)課題。
從市場層面上來說,由于通用的CPU和GPU已經(jīng)難以滿足用戶對(duì)于算力的需求,因此我們可望看到更多云服務(wù)商會(huì)采用非常規(guī)的芯片。這另一方面也涉及到了競爭差異化的問題,隨著算力成為最主要的競爭指標(biāo),如果使用所有競爭對(duì)手都能買到的CPU/GPU,那么就沒法實(shí)現(xiàn)差異化競爭了。因此,從用戶需求和競爭兩個(gè)角度來看,都會(huì)有越來越多從事云服務(wù)的互聯(lián)網(wǎng)巨頭加入自研芯片的行列。
自研芯片包括幾種形式,包括與Intel這樣的傳統(tǒng)處理器芯片商合作以開發(fā)帶有一定定制化功能的處理器芯片,或者去購買IP來搭建自己定義的SoC,以及全定制的功能模塊。一般來說,處理器核心的門檻很高,通常采用IP授權(quán)的形式,但是專用應(yīng)用加速器的設(shè)計(jì)則較簡單,可以采用全定制的方案。因此,我們預(yù)計(jì)會(huì)看到越來越多的自研芯片案例,同時(shí)ARM的服務(wù)器端處理器IP授權(quán)業(yè)務(wù)將得到較大的發(fā)展,有望成為移動(dòng)端處理器核心之外的另一個(gè)重要業(yè)務(wù);但是人工智能加速器這類的IP我們認(rèn)為更有可能是云服務(wù)商去做全定制。