如果說(shuō)英偉達(dá)的Grace CPU超級(jí)芯片的架構(gòu)是CPU+GPU是巧合,那么英特爾和AMD推出的Falcon Shores XPU芯片、Instinct MI300芯片同樣是CPU+GPU結(jié)構(gòu)時(shí),CPU+GPU一體的架構(gòu)就很難稱(chēng)之為巧合了。
更為“碰巧”的是,以上三種芯片其都是用于數(shù)據(jù)中心的場(chǎng)景,這就意味著在未來(lái)兩年內(nèi),AMD、英偉達(dá)和英特爾都將擁有混合CPU+GPU芯片進(jìn)入數(shù)據(jù)中心市場(chǎng)。
可以說(shuō)CPU+GPU的形式已經(jīng)成為未來(lái)芯片設(shè)計(jì)的趨勢(shì)。
CPU與GPU的進(jìn)一步結(jié)合
英特爾推出XPU
英特爾宣布了一款特殊的融合型處理器“Falcon Shores”,官方稱(chēng)之為XPU。其核心是一個(gè)新的處理器架構(gòu),將英特爾的x86 CPU和Xe GPU硬件置入同一顆Xeon芯片中。
Falcon Shores芯片基于區(qū)塊(Tile)設(shè)計(jì),具備非常高的伸縮性、靈活性,可以更好地滿(mǎn)足HPC、AI應(yīng)用需求。
按照英特爾給出的數(shù)字,對(duì)比當(dāng)今水平,F(xiàn)alcon Shores的能耗比提升超過(guò)5倍,x86計(jì)算密度提升超過(guò)5倍,內(nèi)存容量與密度提升超過(guò)5倍。
Falcon Shores芯片將在2024年推出。
AMD推出APU
在數(shù)據(jù)中心領(lǐng)域,AMD同樣展示其野心。
APU是AMD傳統(tǒng)上用于集成顯卡的客戶(hù)端CPU的“加速處理單元”命名法。自2006年Opteron CPU的鼎盛時(shí)期以來(lái),AMD一直夢(mèng)想著使用APU,并于2010年開(kāi)始推出第一款用于PC的APU。隨后在索尼Play Station4和5以及微軟Xbox XS中推出了定制APU系列游戲機(jī),也推出了一些Opteron APU——2013年的X2100和2017年的X3000。
最近,AMD公布的路線圖中顯示,其將在2023年推出Instinct MI300芯片,這是AMD推出的第一款百億億次APU,AMD將其稱(chēng)為“世界上第一個(gè)數(shù)據(jù)中心APU”。
而這個(gè)APU是一種將CPU和GPU內(nèi)核組合到一個(gè)封裝中的芯片,仔細(xì)來(lái)說(shuō)是將基于Zen4的Epyc CPU與使用其全新CDNA3架構(gòu)的GPU相結(jié)合。
AMD表示Instinct MI300預(yù)計(jì)將比其Instinct MI250X提供超過(guò)8倍的AI訓(xùn)練性能提升,與支持Instinct MI200系列的CDNA2 GPU架構(gòu)相比,用于Instinct MI300的CDNA3架構(gòu)將為AI工作負(fù)載提供超過(guò)5倍的性能功耗比提升。
Instinct MI300將于2023年問(wèn)世。
英偉達(dá)Grace超級(jí)芯片
一直專(zhuān)注于GPU設(shè)計(jì)的英偉達(dá),在去年宣布進(jìn)軍基于Arm架構(gòu)的CPU時(shí)引發(fā)了一陣轟動(dòng)。在今年3月,英偉達(dá)推出解決HPC和大規(guī)模人工智能應(yīng)用程序的Grace Hopper超級(jí)芯片。這款芯片將NVIDIA Hopper GPU與Grace CPU通過(guò)NVLink-C2C結(jié)合在一個(gè)集成模塊中。
CPU+GPU的Grace Hopper核心數(shù)減半,LPDDR5X內(nèi)存也只有512GB,但多了顯卡的80GBHBM3內(nèi)存,總帶寬可達(dá)3.5TB/s,代價(jià)是功耗1000W,每個(gè)機(jī)架容納42個(gè)節(jié)點(diǎn)。
英偉達(dá)同樣承諾在2023年上半年推出其超級(jí)芯片。
為什么巨頭都紛紛使用這種形式?
從推出的時(shí)間節(jié)點(diǎn)來(lái)看,英特爾Falcon Shores芯片、AMD Instinct MI300、英偉達(dá)Grace Hopper超級(jí)芯片分別在2024年、2023年、2023年上半年推出。
CPU+GPU的形式,為什么引起了三大巨頭的興趣,紛紛將其布局于數(shù)據(jù)中心?
首先,在數(shù)字經(jīng)濟(jì)時(shí)代,算力正在成為一種新的生產(chǎn)力,廣泛融合到社會(huì)生產(chǎn)生活的各個(gè)方面。數(shù)據(jù)中心是算力的物理承載,是數(shù)字化發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施。全球數(shù)據(jù)中心新增穩(wěn)定,2021年全球數(shù)據(jù)中戲市場(chǎng)規(guī)模超過(guò)679億美元,較2020年增長(zhǎng)9.8%。因此,具有巨大市場(chǎng)的數(shù)據(jù)中心早已被科技巨頭緊盯。
其次,數(shù)據(jù)中心會(huì)收集大量的數(shù)據(jù),因此需要搭建于數(shù)據(jù)中心的芯片具有極大算力,將CPU與GPU組合可以提高算力。英特爾高級(jí)副總裁兼加速計(jì)算系統(tǒng)和圖形(AXG)集團(tuán)總經(jīng)理Raja Koduri的演講中提及,如果想要成功獲得HPC市場(chǎng),就需要芯片能夠處理海量的數(shù)據(jù)集。盡管,GPU具有強(qiáng)大的計(jì)算能力,能夠同時(shí)并行工作數(shù)百個(gè)的內(nèi)核,但如今獨(dú)立的GPU仍然有一大缺陷,就是大的數(shù)據(jù)集無(wú)法輕松放入獨(dú)立GPU內(nèi)存里,需要耗費(fèi)時(shí)間等待顯存數(shù)據(jù)緩慢刷新。
特別是內(nèi)存問(wèn)題,將CPU與GPU放入同一架構(gòu),能夠消除冗余內(nèi)存副本來(lái)改善問(wèn)題,處理器不再需要將數(shù)據(jù)復(fù)制到自己的專(zhuān)用內(nèi)存池來(lái)訪問(wèn)/更改該數(shù)據(jù)。統(tǒng)一內(nèi)存池還意味著不需要第二個(gè)內(nèi)存芯片池,即連接到CPU的DRAM。例如,Instinct MI300將把CDNA3 GPU小芯片和Zen4 CPU小芯片組合到一個(gè)處理器封裝中,這兩個(gè)處理器池將共享封裝HBM內(nèi)存。
英偉達(dá)官方表示,使用NVLink-C2C互連,Grace CPU將數(shù)據(jù)傳輸?shù)紿opper GPU的速度比傳統(tǒng)CPU快15倍;但對(duì)于數(shù)據(jù)集規(guī)模超大的場(chǎng)景來(lái)說(shuō),即使有像NVLink和AMD的Infinity Fabric這樣的高速接口,由于HPC級(jí)處理器操作數(shù)據(jù)的速度非???,在CPU和GPU之間交換數(shù)據(jù)的延遲和帶寬代價(jià)仍然相當(dāng)高昂。因此如果能盡可能縮短這一鏈路的物理距離,就可以節(jié)約很多能源并提升性能。
AMD表示,與使用分立CPU和GPU的實(shí)現(xiàn)相比,該架構(gòu)的設(shè)計(jì)將允許APU使用更低的功耗;英特爾同樣表示,其Falcon Shores芯片將顯著提高帶寬、每瓦性能、計(jì)算密度和內(nèi)存容量。
定制款的吸引力
整合多個(gè)獨(dú)立組件往往會(huì)帶來(lái)很多長(zhǎng)期收益,但并不只是將CPU與GPU簡(jiǎn)單整合到一顆芯片中。英特爾、英偉達(dá)及AMD的GPU+CPU均是選擇了Chiplet方式。
傳統(tǒng)上,為了開(kāi)發(fā)復(fù)雜的 IC 產(chǎn)品,供應(yīng)商設(shè)計(jì)了一種將所有功能集成在同一芯片上的芯片。在隨后的每一代中,每個(gè)芯片的功能數(shù)量都急劇增加。在最新的 7nm 和 5nm 節(jié)點(diǎn)上,成本和復(fù)雜性飆升。
而使用Chiplet設(shè)計(jì),將具有不同功能和工藝節(jié)點(diǎn)的模塊化芯片或小芯片封裝在同一芯片,芯片客戶(hù)可以選擇這些小芯片中的任何一個(gè),并將它們組裝在一個(gè)先進(jìn)的封裝中,從而產(chǎn)生一種新的、復(fù)雜的芯片設(shè)計(jì),作為片上系統(tǒng) (SoC) 的替代品。
正是由于小芯片的特性,三家巨頭在自己發(fā)展多芯片互連的同時(shí),還展開(kāi)了定制服務(wù)。
英特爾在發(fā)布Falcon Shores時(shí)介紹,其架構(gòu)將使用Chiplet方法,采用不同制造工藝制造的多個(gè)芯片和不同的處理器模塊可以緊密地塞在一個(gè)芯片封裝中。這使得英特爾可以在其可以放入其芯片的CPU、GPU、I/O、內(nèi)存類(lèi)型、電源管理和其他電路類(lèi)型上進(jìn)行更高級(jí)別的定制。
最特別的是,F(xiàn)alcon Shores可以按需配置不同區(qū)塊模塊,尤其是x86CPU核心、XeGPU核心,數(shù)量和比例都非常靈活,就看做什么用了。
目前,英特爾已開(kāi)放其 x86 架構(gòu)進(jìn)行許可,并制定了Chiplet策略,允許客戶(hù)將 Arm 和 RISC-V 內(nèi)核放在一個(gè)封裝中。
最近,AMD同樣打開(kāi)了定制的大門(mén)。AMD首席技術(shù)官M(fèi)ark Papermaster在分析師日會(huì)議上表示:“我們專(zhuān)注于讓芯片更容易且更靈活實(shí)現(xiàn)?!?/p>
AMD允許客戶(hù)在緊湊的芯片封裝中實(shí)現(xiàn)多個(gè)芯粒(也稱(chēng)為chiplet或compute tiles )。AMD已經(jīng)在使用tiles,但現(xiàn)在AMD允許第三方制造加速器或其他芯片,以將其與x86 CPU和GPU一起包含在其2D或3D封裝中。
AMD的定制芯片戰(zhàn)略將圍繞新的Infinity Architecture 4.0展開(kāi),它是芯片封裝中芯粒的互連。專(zhuān)有的Infinity結(jié)構(gòu)將與CXL 2.0互連兼容。
Infinity互連還將支持UCIe(Universal Chiplet Interconnect Express)以連接封裝中的chiplet。UCIe已經(jīng)得到英特爾、AMD、Arm、谷歌、Meta等公司的支持。
下一代頂級(jí)芯片會(huì)是多芯片設(shè)計(jì)嗎?
總體而言,AMD的服務(wù)器GPU軌跡與英特爾、英偉達(dá)非常相似。這三家公司都在向CPU+GPU組合產(chǎn)品方向發(fā)展,英偉達(dá)的GraceHopper(Grace+H100)、英特爾的Falcon Shores XPU(混合和匹配CPU+GPU),現(xiàn)在MI300在單個(gè)封裝上同時(shí)使用CPU和GPU小芯片。在所有這三種情況下,這些技術(shù)旨在將最好的CPU和最好的GPU結(jié)合起來(lái),用于不完全受兩者約束的工作負(fù)載。
市場(chǎng)研究公司Counterpoint Research的研究分析師Akshara Bassi表示:“隨著芯片面積變得越來(lái)越大以及晶圓成品率問(wèn)題越來(lái)越重要,多芯片模塊封裝設(shè)計(jì)能夠?qū)崿F(xiàn)比單芯片設(shè)計(jì)更佳的功耗和性能表現(xiàn)。”
Chiplet將繼續(xù)存在,但就目前而言,該領(lǐng)域是一個(gè)孤島。AMD、蘋(píng)果、英特爾和英偉達(dá)正在將自研的互連設(shè)計(jì)方案應(yīng)用于特定的封裝技術(shù)中。
2018 年,英特爾將 EMIB(嵌入式多硅片)技術(shù)升級(jí)為邏輯晶圓 3D 堆疊技術(shù)。2019 年,英特爾推出 Co-EMIB 技術(shù),能夠?qū)蓚€(gè)或多個(gè) Foveros 芯片互連。
AMD率先提出Chiplet模式,在2019年全面采用小芯片技術(shù)獲得了技術(shù)優(yōu)勢(shì)。Lisa Su 在演講時(shí)表達(dá)了未來(lái)的規(guī)劃,“我們與臺(tái)積電就他們的 3D 結(jié)構(gòu)密切合作,將小芯片封裝與芯片堆疊相結(jié)合,為未來(lái)的高性能計(jì)算產(chǎn)品創(chuàng)建 3D 小芯片架構(gòu)。”
今年 3 月 2 日,英特爾、AMD、Arm、高通、臺(tái)積電、三星、日月光、谷歌云、Meta、微軟等十大巨頭宣布成立 Chiplet 標(biāo)準(zhǔn)聯(lián)盟,推出了通用小芯片互連標(biāo)準(zhǔn) (UCIe),希望將行業(yè)聚合起來(lái)。
迄今為止,只有少數(shù)芯片巨頭開(kāi)發(fā)和制造了基于Chiplet的設(shè)計(jì)。由于先進(jìn)節(jié)點(diǎn)開(kāi)發(fā)芯片的成本不斷上升,業(yè)界比以往任何時(shí)候都更需要Chiplet。在多芯片潮流下,下一代頂級(jí)芯片必然也將是多芯片設(shè)計(jì)。