AI芯片的功耗和發(fā)熱量直接影響著企業(yè)的成本、風(fēng)險(xiǎn)以及芯片的穩(wěn)定性和壽命。如果芯片因過熱或短路而頻繁出現(xiàn)問題,那么AI的訓(xùn)練和推理效果及效率也會(huì)受到嚴(yán)重影響。
冷卻技術(shù)革命,顯得十分急需。
AI芯片的功耗危機(jī)
統(tǒng)計(jì)數(shù)據(jù)顯示,2015年全球數(shù)據(jù)量約為10EB(艾字節(jié)),預(yù)計(jì)到2025年將飆升至175ZB(澤字節(jié)),而到2035年,則可能達(dá)到驚人的2432ZB。然而,邊緣AI的發(fā)展面臨兩大挑戰(zhàn)。首先,需要在性能、功耗和成本之間取得平衡。在提升算力的同時(shí),如何在不將功耗和成本推向合理限度的情況下獲得最佳效果,尤其是在電池供電的低功耗設(shè)備中?其次,構(gòu)建強(qiáng)大的生態(tài)系統(tǒng)至關(guān)重要。如同CPU和GPU的發(fā)展一樣,一個(gè)涵蓋工具鏈、語言、兼容性和易開發(fā)性的統(tǒng)一生態(tài)系統(tǒng),對(duì)于推動(dòng)AI技術(shù)的普及和規(guī)?;瘧?yīng)用至關(guān)重要。
ChatGPT 和類似的 AI 機(jī)器人用來生成類人對(duì)話的大型語言模型 (LLM) 只是眾多依賴“并行計(jì)算”的新型 AI 應(yīng)用之一。“并行計(jì)算”指的是由芯片網(wǎng)絡(luò)同時(shí)執(zhí)行多項(xiàng)計(jì)算或處理的海量計(jì)算工作。
人工智能基礎(chǔ)設(shè)施的核心是GPU(圖形處理單元),它擅長處理人工智能所需的專業(yè)高性能并行計(jì)算工作。與個(gè)人電腦中使用的 CPU(中央處理器)相比,這種強(qiáng)大的處理能力也會(huì)導(dǎo)致更高的能量輸入,從而產(chǎn)生更多的熱量輸出。
高端GPU 的功率密度約為 CPU 的四倍。這給數(shù)據(jù)中心規(guī)劃帶來了新的重大問題,因?yàn)樽畛跤?jì)算的電源現(xiàn)在僅為運(yùn)行現(xiàn)代 AI 數(shù)據(jù)中心所需電源的 25%。即使是亞馬遜、微軟和 Alphabet 用于云計(jì)算的尖端超大規(guī)模數(shù)據(jù)中心,也仍然是由 CPU 驅(qū)動(dòng)的。舉例來說,Nvidia 目前提供的 A100 AI 芯片每塊芯片的恒定功耗約為 400W,而其最新微芯片 H100 的功耗幾乎是 A100 的兩倍,達(dá)到 700W,與微波爐的功耗相似。如果一個(gè)擁有平均一百萬臺(tái)服務(wù)器的超大規(guī)模數(shù)據(jù)中心用這些類型的 GPU 替換其當(dāng)前的 CPU 服務(wù)器,則所需的功率將增加 4-5 倍(1500MW),相當(dāng)于一座核電站!
功率密度的提升意味著這些芯片產(chǎn)生的熱量也會(huì)顯著增加。因此,冷卻系統(tǒng)也必須更加強(qiáng)大。如此規(guī)模的電力和冷卻變革將要求未來人工智能驅(qū)動(dòng)的數(shù)據(jù)中心進(jìn)行全新的設(shè)計(jì)。這將導(dǎo)致底層芯片和數(shù)據(jù)中心基礎(chǔ)設(shè)施出現(xiàn)巨大的供需失衡??紤]到數(shù)據(jù)中心建設(shè)所需的時(shí)間,業(yè)內(nèi)專家預(yù)測,我們正處于數(shù)據(jù)中心十年現(xiàn)代化升級(jí)的初期階段,旨在使其更加智能化。
臺(tái)積電3DVC技術(shù)
臺(tái)積電的3DVC(3D Vapor Chamber,三維均熱板)技術(shù)是一種針對(duì)高性能計(jì)算(HPC)和AI芯片的先進(jìn)散熱解決方案,旨在解決先進(jìn)制程(如3nm/2nm)芯片因集成度提升導(dǎo)致的功耗和發(fā)熱密度激增問題。
傳統(tǒng)均熱板是二維平面結(jié)構(gòu),而臺(tái)積電的3DVC通過立體化設(shè)計(jì),在芯片封裝內(nèi)部直接集成多層微流體通道,利用 相變傳熱(液體蒸發(fā)-冷凝循環(huán))快速導(dǎo)出熱量。
三維毛細(xì)結(jié)構(gòu):內(nèi)部采用多孔金屬泡沫或微柱陣列,增強(qiáng)工質(zhì)(如水/氨)的毛細(xì)回流能力。
近結(jié)散熱(Near-Junction Cooling):直接與芯片的硅中介層(Silicon Interposer)或3D堆疊結(jié)構(gòu)(如SoIC)接觸,縮短熱傳導(dǎo)路徑。
3D-VC散熱器熱管屬于一維線性的傳熱器件,常規(guī)VC均熱板因?yàn)榇嬖谡舭l(fā)段以及冷凝段,根據(jù)設(shè)計(jì)位置的不同,散熱路徑上會(huì)存在多種分布可能,這使得常規(guī)VC均熱板成為了二維傳熱器件,但其散熱路徑依舊局限在同一個(gè)平面內(nèi)。與一維熱傳導(dǎo)的熱管、二維熱傳導(dǎo)的VC均熱板相比,3D-VC散熱器的熱傳導(dǎo)路徑是三維的,立體結(jié)構(gòu)的,非平面的。3D-VC散熱器利用VC、熱管相結(jié)合使得內(nèi)部腔體連通,通過毛細(xì)結(jié)構(gòu)實(shí)現(xiàn)工質(zhì)回流,完成導(dǎo)熱。連通的內(nèi)部腔體加上焊接翅片組成了整個(gè)散熱模組,使得該散熱模組實(shí)現(xiàn)了水平以及垂直等多維度的散熱。
熱管、VC、3DVC對(duì)比圖多維度的散熱路徑使得3D-VC散熱器在應(yīng)對(duì)高功耗設(shè)備熱量的時(shí)候可以接觸更多的發(fā)熱源提供更多的散熱路徑。傳統(tǒng)散熱模組中熱管與VC均溫板屬于分離式設(shè)計(jì),由于熱阻值隨導(dǎo)熱距離的增加而增加,散熱效果也就不甚理想。3D-VC散熱器通過將熱管延伸至VC均熱板本體中,VC均溫板的真空腔體與熱管連通后,內(nèi)部工質(zhì)連接,3D-VC 散熱器與熱源直接接觸,垂直的熱管設(shè)計(jì)也提高了傳熱的速度。
3DVC可嵌入臺(tái)積電的 CoWoS 2.5D/3D封裝中,為CPU/GPU/HBM提供一體化散熱。臺(tái)積電在IEEE國際電子器件會(huì)議(IEDM)上展示3DVC原型,可將3nm芯片結(jié)溫降低15°C以上。計(jì)劃與CoWoS-L封裝技術(shù)同步應(yīng)用于AMD、NVIDIA的下一代產(chǎn)品。
冷卻方案差異
液冷是高功率下唯一可行的解決方案。
通過一定體積的液體流動(dòng)傳遞熱量的效率遠(yuǎn)高于通過相同體積的空氣傳遞熱量——水的效率約為空氣的3,600倍。這使得通過芯片散熱器進(jìn)行液冷成為一種高效的方法。當(dāng)芯片面積每平方厘米的散熱量超過約50瓦時(shí),通常需要采用液冷。鑒于GB200的面積約為9平方厘米,任何超過450瓦的散熱量都表明需要泵送液冷。在“直接芯片”冷卻中,液體通過熱界面連接到芯片散熱器的冷板通道流動(dòng)。當(dāng)液體在此過程中不蒸發(fā)時(shí),稱為“單相”操作,其中介質(zhì)(通常是水)被泵送通過風(fēng)扇冷卻的熱交換器。Flex 旗下公司 JetCool 提供直接芯片液體冷卻模塊,該模塊使用小型流體噴射陣列,精確瞄準(zhǔn)處理器上的熱點(diǎn),從而在芯片或設(shè)備級(jí)別提升高功率電子冷卻性能。
熱量可以轉(zhuǎn)移到第二個(gè)液體回路,該回路可以為建筑物提供熱水,并可能為當(dāng)?shù)叵M(fèi)者提供熱水。兩相操作通過使液體(通常是氟碳化合物)在吸收熱量時(shí)蒸發(fā),然后在熱交換器處重新凝結(jié),從而提供更好的傳熱效果。這種方法可以顯著提升性能。然而,仍然需要系統(tǒng)風(fēng)扇來冷卻其他組件,盡管某些組件(例如DC/DC 轉(zhuǎn)換器)可以使用其自身的基板集成到液體冷卻回路中。這符合“垂直供電”的概念,其中 DC/DC 轉(zhuǎn)換器直接位于處理器下方,以最大限度地減少壓降。直接芯片方法的實(shí)際限制是芯片與冷卻板之間界面的熱阻。精確的表面平整度和高性能焊膏是必要的,但在數(shù)千瓦級(jí)功率下,溫差仍然是一個(gè)問題。
這一限制似乎即將限制散熱,進(jìn)而影響性能。可以考慮采用浸入式冷卻技術(shù)。將整個(gè)服務(wù)器置于一個(gè)開放式的介電流體槽中,介電流體通過儲(chǔ)液器繞環(huán)路泵送至熱交換器。同樣,為了獲得最佳性能,可以采用兩相運(yùn)行。
除了浸入式冷卻技術(shù),IBM使用的是嵌入式微通道相變冷卻技術(shù)。IBM 將介電液直接泵入任意級(jí)別芯片堆疊的約 100μm 的微觀間隙中,通過介電液從液相沸騰到氣相來帶走芯片的熱量。他們對(duì)用此改造后的 IBM Power 7+ 芯片進(jìn)行測試,結(jié)果表明結(jié)溫降低了 25℃。
為了實(shí)現(xiàn)嵌入式冷卻,IBM 拆掉了處理器的封裝蓋子以暴露出裸片,對(duì)裸片進(jìn)行了深度反應(yīng)離子蝕刻(DRIE),在其背面構(gòu)建了 120μm 深的冷卻通道結(jié)構(gòu),并將一個(gè)玻璃片粘合到被蝕刻的芯片上以形成微通道的頂壁,用粘合劑將冷卻劑入口、出口黃銅歧管粘合到玻璃歧管芯片和有機(jī)基材上。冷卻劑進(jìn)入模塊并通過 24 個(gè)入口,在相應(yīng)的 24 個(gè)徑向擴(kuò)展通道中分配流量。
英偉達(dá):硬件級(jí)冷卻集成(NVLinkC2C技術(shù))
Blackwell的發(fā)布,標(biāo)志著AI硬件領(lǐng)域邁入了一個(gè)新紀(jì)元,其強(qiáng)大性能將為AI公司提供前所未有的計(jì)算支持,助力訓(xùn)練出更復(fù)雜、更精準(zhǔn)的模型,基于 Blackwell 的 AI 算力將以名為 DGX GB200 的完整服務(wù)器形態(tài)提供給用戶,結(jié)合了 36 顆 NVIDIA Grace CPU 和 72 塊 Blackwell GPU,而這些超級(jí)芯片通過第五代 NVLink 連接成一臺(tái)超級(jí)計(jì)算機(jī)提高整體計(jì)算性能。為了更好地支持GB200超級(jí)芯片的應(yīng)用,英偉達(dá)推出了全新的計(jì)算集群DGX GB200 SuperPod,這一超級(jí)計(jì)算集群采用了新型高效液冷機(jī)架規(guī)模架構(gòu),能夠在FP4精度下提供驚人的算力和內(nèi)存容量。通過DGX GB200 SuperPod,英偉達(dá)將為各行各業(yè)提供強(qiáng)大的AI計(jì)算能力,助力AI工業(yè)革命的發(fā)展,再次展現(xiàn)了其在AI領(lǐng)域的領(lǐng)先地位和創(chuàng)新能力。
具體來講,NVLINK 是一種專門設(shè)計(jì)用于連接 NVIDIA GPU 的高速互聯(lián)技術(shù)。它允許 GPU 之間以點(diǎn)對(duì)點(diǎn)方式進(jìn)行通信,繞過傳統(tǒng)的PCIe總線,實(shí)現(xiàn)了更高的帶寬和更低的延遲。NVLINK 可用于連接兩個(gè)或多個(gè) GPU,以實(shí)現(xiàn)高速的數(shù)據(jù)傳輸和共享,為多 GPU 系統(tǒng)提供更高的性能和效率。
例如,GB200 NVL72有 18 個(gè) 1U 服務(wù)器,其提供的 FP8 性能為 720 petaflops,F(xiàn)P4 計(jì)算性能為 1440 petaflops,可處理多達(dá) 27 萬億個(gè) AI LLM 參數(shù)模型。每臺(tái)服務(wù)器里帶有兩個(gè) GB200 Grace Blackwell Superchip,這些計(jì)算節(jié)點(diǎn)帶有 1.7TB 的 HBM3E 內(nèi)存、32TB/s 的內(nèi)存帶寬,為應(yīng)對(duì)功耗過于強(qiáng)大問題,NVIDIA選擇全部采用液冷 MGX 封裝,采取液冷機(jī)架級(jí)解決方案。