AI芯片的功耗和發(fā)熱量直接影響著企業(yè)的成本、風(fēng)險(xiǎn)以及芯片的穩(wěn)定性和壽命。如果芯片因過熱或短路而頻繁出現(xiàn)問題，那么AI的訓(xùn)練和推理效果及效率也會(huì)受到嚴(yán)重影響。

冷卻技術(shù)革命，顯得十分急需。

AI芯片的功耗危機(jī)

統(tǒng)計(jì)數(shù)據(jù)顯示，2015年全球數(shù)據(jù)量約為10EB（艾字節(jié)），預(yù)計(jì)到2025年將飆升至175ZB（澤字節(jié)），而到2035年，則可能達(dá)到驚人的2432ZB。然而，邊緣AI的發(fā)展面臨兩大挑戰(zhàn)。首先，需要在性能、功耗和成本之間取得平衡。在提升算力的同時(shí)，如何在不將功耗和成本推向合理限度的情況下獲得最佳效果，尤其是在電池供電的低功耗設(shè)備中？其次，構(gòu)建強(qiáng)大的生態(tài)系統(tǒng)至關(guān)重要。如同CPU和GPU的發(fā)展一樣，一個(gè)涵蓋工具鏈、語言、兼容性和易開發(fā)性的統(tǒng)一生態(tài)系統(tǒng)，對(duì)于推動(dòng)AI技術(shù)的普及和規(guī)?；瘧?yīng)用至關(guān)重要。

ChatGPT 和類似的 AI 機(jī)器人用來生成類人對(duì)話的大型語言模型 (LLM) 只是眾多依賴“并行計(jì)算”的新型 AI 應(yīng)用之一。“并行計(jì)算”指的是由芯片網(wǎng)絡(luò)同時(shí)執(zhí)行多項(xiàng)計(jì)算或處理的海量計(jì)算工作。

人工智能基礎(chǔ)設(shè)施的核心是GPU（圖形處理單元），它擅長(zhǎng)處理人工智能所需的專業(yè)高性能并行計(jì)算工作。與個(gè)人電腦中使用的 CPU（中央處理器）相比，這種強(qiáng)大的處理能力也會(huì)導(dǎo)致更高的能量輸入，從而產(chǎn)生更多的熱量輸出。

高端GPU 的功率密度約為 CPU 的四倍。這給數(shù)據(jù)中心規(guī)劃帶來了新的重大問題，因?yàn)樽畛跤?jì)算的電源現(xiàn)在僅為運(yùn)行現(xiàn)代 AI 數(shù)據(jù)中心所需電源的 25%。即使是亞馬遜、微軟和 Alphabet 用于云計(jì)算的尖端超大規(guī)模數(shù)據(jù)中心，也仍然是由 CPU 驅(qū)動(dòng)的。舉例來說，Nvidia 目前提供的 A100 AI 芯片每塊芯片的恒定功耗約為 400W，而其最新微芯片 H100 的功耗幾乎是 A100 的兩倍，達(dá)到 700W，與微波爐的功耗相似。如果一個(gè)擁有平均一百萬臺(tái)服務(wù)器的超大規(guī)模數(shù)據(jù)中心用這些類型的 GPU 替換其當(dāng)前的 CPU 服務(wù)器，則所需的功率將增加 4-5 倍（1500MW），相當(dāng)于一座核電站！

功率密度的提升意味著這些芯片產(chǎn)生的熱量也會(huì)顯著增加。因此，冷卻系統(tǒng)也必須更加強(qiáng)大。如此規(guī)模的電力和冷卻變革將要求未來人工智能驅(qū)動(dòng)的數(shù)據(jù)中心進(jìn)行全新的設(shè)計(jì)。這將導(dǎo)致底層芯片和數(shù)據(jù)中心基礎(chǔ)設(shè)施出現(xiàn)巨大的供需失衡。考慮到數(shù)據(jù)中心建設(shè)所需的時(shí)間，業(yè)內(nèi)專家預(yù)測(cè)，我們正處于數(shù)據(jù)中心十年現(xiàn)代化升級(jí)的初期階段，旨在使其更加智能化。

臺(tái)積電3DVC技術(shù)

臺(tái)積電的3DVC（3D Vapor Chamber，三維均熱板）技術(shù)是一種針對(duì)高性能計(jì)算（HPC）和AI芯片的先進(jìn)散熱解決方案，旨在解決先進(jìn)制程（如3nm/2nm）芯片因集成度提升導(dǎo)致的功耗和發(fā)熱密度激增問題。

傳統(tǒng)均熱板是二維平面結(jié)構(gòu)，而臺(tái)積電的3DVC通過立體化設(shè)計(jì)，在芯片封裝內(nèi)部直接集成多層微流體通道，利用 相變傳熱（液體蒸發(fā)-冷凝循環(huán)）快速導(dǎo)出熱量。

三維毛細(xì)結(jié)構(gòu)：內(nèi)部采用多孔金屬泡沫或微柱陣列，增強(qiáng)工質(zhì)（如水/氨）的毛細(xì)回流能力。

近結(jié)散熱（Near-Junction Cooling）：直接與芯片的硅中介層（Silicon Interposer）或3D堆疊結(jié)構(gòu)（如SoIC）接觸，縮短熱傳導(dǎo)路徑。

3D-VC散熱器熱管屬于一維線性的傳熱器件，常規(guī)VC均熱板因?yàn)榇嬖谡舭l(fā)段以及冷凝段，根據(jù)設(shè)計(jì)位置的不同，散熱路徑上會(huì)存在多種分布可能，這使得常規(guī)VC均熱板成為了二維傳熱器件，但其散熱路徑依舊局限在同一個(gè)平面內(nèi)。與一維熱傳導(dǎo)的熱管、二維熱傳導(dǎo)的VC均熱板相比，3D-VC散熱器的熱傳導(dǎo)路徑是三維的，立體結(jié)構(gòu)的，非平面的。3D-VC散熱器利用VC、熱管相結(jié)合使得內(nèi)部腔體連通，通過毛細(xì)結(jié)構(gòu)實(shí)現(xiàn)工質(zhì)回流，完成導(dǎo)熱。連通的內(nèi)部腔體加上焊接翅片組成了整個(gè)散熱模組，使得該散熱模組實(shí)現(xiàn)了水平以及垂直等多維度的散熱。

熱管、VC、3DVC對(duì)比圖多維度的散熱路徑使得3D-VC散熱器在應(yīng)對(duì)高功耗設(shè)備熱量的時(shí)候可以接觸更多的發(fā)熱源提供更多的散熱路徑。傳統(tǒng)散熱模組中熱管與VC均溫板屬于分離式設(shè)計(jì)，由于熱阻值隨導(dǎo)熱距離的增加而增加，散熱效果也就不甚理想。3D-VC散熱器通過將熱管延伸至VC均熱板本體中，VC均溫板的真空腔體與熱管連通后，內(nèi)部工質(zhì)連接，3D-VC 散熱器與熱源直接接觸，垂直的熱管設(shè)計(jì)也提高了傳熱的速度。

3DVC可嵌入臺(tái)積電的 CoWoS 2.5D/3D封裝中，為CPU/GPU/HBM提供一體化散熱。臺(tái)積電在IEEE國際電子器件會(huì)議（IEDM）上展示3DVC原型，可將3nm芯片結(jié)溫降低15°C以上。計(jì)劃與CoWoS-L封裝技術(shù)同步應(yīng)用于AMD、NVIDIA的下一代產(chǎn)品。

冷卻方案差異

液冷是高功率下唯一可行的解決方案。

通過一定體積的液體流動(dòng)傳遞熱量的效率遠(yuǎn)高于通過相同體積的空氣傳遞熱量——水的效率約為空氣的3,600倍。這使得通過芯片散熱器進(jìn)行液冷成為一種高效的方法。當(dāng)芯片面積每平方厘米的散熱量超過約50瓦時(shí)，通常需要采用液冷。鑒于GB200的面積約為9平方厘米，任何超過450瓦的散熱量都表明需要泵送液冷。在“直接芯片”冷卻中，液體通過熱界面連接到芯片散熱器的冷板通道流動(dòng)。當(dāng)液體在此過程中不蒸發(fā)時(shí)，稱為“單相”操作，其中介質(zhì)（通常是水）被泵送通過風(fēng)扇冷卻的熱交換器。Flex 旗下公司 JetCool 提供直接芯片液體冷卻模塊，該模塊使用小型流體噴射陣列，精確瞄準(zhǔn)處理器上的熱點(diǎn)，從而在芯片或設(shè)備級(jí)別提升高功率電子冷卻性能。

熱量可以轉(zhuǎn)移到第二個(gè)液體回路，該回路可以為建筑物提供熱水，并可能為當(dāng)?shù)叵M(fèi)者提供熱水。兩相操作通過使液體（通常是氟碳化合物）在吸收熱量時(shí)蒸發(fā)，然后在熱交換器處重新凝結(jié)，從而提供更好的傳熱效果。這種方法可以顯著提升性能。然而，仍然需要系統(tǒng)風(fēng)扇來冷卻其他組件，盡管某些組件（例如DC/DC 轉(zhuǎn)換器）可以使用其自身的基板集成到液體冷卻回路中。這符合“垂直供電”的概念，其中 DC/DC 轉(zhuǎn)換器直接位于處理器下方，以最大限度地減少壓降。直接芯片方法的實(shí)際限制是芯片與冷卻板之間界面的熱阻。精確的表面平整度和高性能焊膏是必要的，但在數(shù)千瓦級(jí)功率下，溫差仍然是一個(gè)問題。

這一限制似乎即將限制散熱，進(jìn)而影響性能?？梢钥紤]采用浸入式冷卻技術(shù)。將整個(gè)服務(wù)器置于一個(gè)開放式的介電流體槽中，介電流體通過儲(chǔ)液器繞環(huán)路泵送至熱交換器。同樣，為了獲得最佳性能，可以采用兩相運(yùn)行。

除了浸入式冷卻技術(shù)，IBM使用的是嵌入式微通道相變冷卻技術(shù)。IBM 將介電液直接泵入任意級(jí)別芯片堆疊的約 100μm 的微觀間隙中，通過介電液從液相沸騰到氣相來帶走芯片的熱量。他們對(duì)用此改造后的 IBM Power 7+ 芯片進(jìn)行測(cè)試，結(jié)果表明結(jié)溫降低了 25℃。

為了實(shí)現(xiàn)嵌入式冷卻，IBM 拆掉了處理器的封裝蓋子以暴露出裸片，對(duì)裸片進(jìn)行了深度反應(yīng)離子蝕刻（DRIE），在其背面構(gòu)建了 120μm 深的冷卻通道結(jié)構(gòu)，并將一個(gè)玻璃片粘合到被蝕刻的芯片上以形成微通道的頂壁，用粘合劑將冷卻劑入口、出口黃銅歧管粘合到玻璃歧管芯片和有機(jī)基材上。冷卻劑進(jìn)入模塊并通過 24 個(gè)入口，在相應(yīng)的 24 個(gè)徑向擴(kuò)展通道中分配流量。

英偉達(dá)：硬件級(jí)冷卻集成（NVLinkC2C技術(shù)）

Blackwell的發(fā)布，標(biāo)志著AI硬件領(lǐng)域邁入了一個(gè)新紀(jì)元，其強(qiáng)大性能將為AI公司提供前所未有的計(jì)算支持，助力訓(xùn)練出更復(fù)雜、更精準(zhǔn)的模型，基于 Blackwell 的 AI 算力將以名為 DGX GB200 的完整服務(wù)器形態(tài)提供給用戶，結(jié)合了 36 顆 NVIDIA Grace CPU 和 72 塊 Blackwell GPU，而這些超級(jí)芯片通過第五代 NVLink 連接成一臺(tái)超級(jí)計(jì)算機(jī)提高整體計(jì)算性能。為了更好地支持GB200超級(jí)芯片的應(yīng)用，英偉達(dá)推出了全新的計(jì)算集群DGX GB200 SuperPod，這一超級(jí)計(jì)算集群采用了新型高效液冷機(jī)架規(guī)模架構(gòu)，能夠在FP4精度下提供驚人的算力和內(nèi)存容量。通過DGX GB200 SuperPod，英偉達(dá)將為各行各業(yè)提供強(qiáng)大的AI計(jì)算能力，助力AI工業(yè)革命的發(fā)展，再次展現(xiàn)了其在AI領(lǐng)域的領(lǐng)先地位和創(chuàng)新能力。

具體來講，NVLINK 是一種專門設(shè)計(jì)用于連接 NVIDIA GPU 的高速互聯(lián)技術(shù)。它允許 GPU 之間以點(diǎn)對(duì)點(diǎn)方式進(jìn)行通信，繞過傳統(tǒng)的PCIe總線，實(shí)現(xiàn)了更高的帶寬和更低的延遲。NVLINK 可用于連接兩個(gè)或多個(gè) GPU，以實(shí)現(xiàn)高速的數(shù)據(jù)傳輸和共享，為多 GPU 系統(tǒng)提供更高的性能和效率。

例如，GB200 NVL72有 18 個(gè) 1U 服務(wù)器，其提供的 FP8 性能為 720 petaflops，F(xiàn)P4 計(jì)算性能為 1440 petaflops，可處理多達(dá) 27 萬億個(gè) AI LLM 參數(shù)模型。每臺(tái)服務(wù)器里帶有兩個(gè) GB200 Grace Blackwell Superchip，這些計(jì)算節(jié)點(diǎn)帶有 1.7TB 的 HBM3E 內(nèi)存、32TB/s 的內(nèi)存帶寬，為應(yīng)對(duì)功耗過于強(qiáng)大問題，NVIDIA選擇全部采用液冷 MGX 封裝，采取液冷機(jī)架級(jí)解決方案。