隨著人工智能等高性能計(jì)算應(yīng)用的持續(xù)火熱，這些方向也成為了半導(dǎo)體芯片行業(yè)發(fā)展最重要的驅(qū)動(dòng)力之一。本屆Hotchips的亮點(diǎn)無疑是支持這些應(yīng)用方向的芯片，尤其是應(yīng)用于邊緣和數(shù)據(jù)中心的這類高性能計(jì)算賦能芯片。在本屆Hotchips共兩天七個(gè)主題議程中，約有一半的相關(guān)論文和這些高性能計(jì)算有關(guān)，涵蓋了GPGPU、機(jī)器學(xué)習(xí)加速、ADAS和高性能網(wǎng)絡(luò)開關(guān)等領(lǐng)域，而這些相關(guān)論文都來自Nvidia、AMD、Intel、Tesla等業(yè)界最頂尖的芯片公司，論文內(nèi)容則是關(guān)于公司最新芯片的關(guān)鍵技術(shù)。這些賦能云端高性能計(jì)算的芯片有一個(gè)共同的特點(diǎn)，就是規(guī)模越做越大，而本屆Hotchips中我們也可以看到芯片設(shè)計(jì)行業(yè)正在使用全新的工具來確保芯片規(guī)模的繼續(xù)上升，而這些工具就是芯片粒/高級(jí)封裝以及芯片-軟件協(xié)同設(shè)計(jì)。如果說基于IP復(fù)用的SoC理念創(chuàng)造了上一代大規(guī)模集成芯片的蓬勃發(fā)展的話，那么芯片粒和軟件協(xié)同設(shè)計(jì)將會(huì)成為芯片突破集成度瓶頸并進(jìn)一步提升芯片功能和晶體管規(guī)模的下一代支柱。

　　芯片粒是未來高性能芯片的支柱

　　隨著高性能計(jì)算對(duì)于芯片性能（包括算力、互聯(lián)和內(nèi)存接口）的需求持續(xù)上升，整個(gè)芯片系統(tǒng)的晶體管規(guī)模和設(shè)計(jì)復(fù)雜度也在相應(yīng)提升。這樣的性能需求上升是指數(shù)級(jí)的：以Nvidia的GPU算力為例，一般的規(guī)律是每一代（兩年）GPU的性能相對(duì)于上一代提升兩到三倍。為了應(yīng)對(duì)指數(shù)級(jí)上升的性能需求，芯片系統(tǒng)必須要從兩個(gè)方面實(shí)現(xiàn)不斷提升，其一是單芯片的性能，其二是可擴(kuò)展性。單芯片的性能提升約等于在芯片中加入更多的晶體管，其主要挑戰(zhàn)在于如何提升良率和降低成本，因?yàn)樾酒牧悸孰S著晶體管數(shù)量提升（即芯片面積上升）而快速下降，單純堆積晶體管的做法會(huì)導(dǎo)致良率低到無法接受。除此之外，還需要確保芯片系統(tǒng)設(shè)計(jì)是可擴(kuò)展的，即可以把多個(gè)單元芯片協(xié)同工作以進(jìn)一步提升性能。可協(xié)同性的主要挑戰(zhàn)在于IO帶寬，如果IO成為瓶頸的話，那么多個(gè)單元芯片協(xié)同工作的性能并不會(huì)比單元芯片強(qiáng)很多。

　　為了解決良率和可擴(kuò)展性的問題，芯片粒加高級(jí)封裝技術(shù)就成為了目前芯片廠商普遍的答案。在這樣的方案中，首先不再追求每個(gè)單元芯片的集成度，而是把單元芯片做成面積較小的芯片粒，這樣芯片粒的良率會(huì)遠(yuǎn)遠(yuǎn)高于大芯片。同時(shí)，將多個(gè)芯片粒用高級(jí)封裝的技術(shù)集成到一起來實(shí)現(xiàn)大規(guī)模芯片系統(tǒng)，由于高級(jí)封裝技術(shù)同時(shí)提供了大帶寬的高性能互聯(lián)，這樣就就解決了可擴(kuò)展性問題。

　　在本屆Hotchips上，我們可以看到芯片粒加高級(jí)封裝已經(jīng)成為了高性能計(jì)算的主流解決方案。Intel的Ponte Vecchio是本屆Hotchips的一大亮點(diǎn)：Ponte Vecchio是Intel的下一代GPU架構(gòu)，其設(shè)計(jì)中使用了大規(guī)模芯片粒和高級(jí)封裝技術(shù)，而在本次Hotchips上Intel公布了Ponte Vecchio的最新架構(gòu)細(xì)節(jié)和相關(guān)數(shù)據(jù)。在Ponte Vecchio中，會(huì)有多個(gè)Xe 核心使用高級(jí)封裝（EMIB）的方式組成compute tile，而L2 Cache則有相應(yīng)的一個(gè)芯片粒（稱為Cambo cache tile），并且和compute tile集成到一起。而除此之外，還有HMB和用于芯片間互聯(lián)的Xe Link芯片粒，這些芯片粒組成了整個(gè)Ponte Vecchio系統(tǒng)。由于使用芯片粒的方式，我們看到Intel可以在良率可控的情況下加入大量的Xe核和海量緩存（cache）：整個(gè)Ponte Vecchio包括了128個(gè)Xe核，64MB的register file，64MB的L1 cache和408MB的L2 cache。整個(gè)Ponte Vecchio系統(tǒng)可以實(shí)現(xiàn)839 TFLOPS的峰值浮點(diǎn)數(shù)算力以及1678 TOPS的峰值整數(shù)算力，在實(shí)現(xiàn)如此高算力的超大規(guī)模芯片系統(tǒng)中，芯片粒和高級(jí)封裝技術(shù)可謂是居功至偉。

　　在Intel的Ponte Vecchio之外，Tesla也公布了其用于人工智能模型訓(xùn)練的Dojo芯片。在Dojo芯片系統(tǒng)中，其基本的計(jì)算chiplet是D1，每個(gè)D1包括了362TFlops算力和440MB SRAM，同時(shí)每個(gè)Dojo則包含了25個(gè)這樣的D1芯片粒以及40個(gè)專用的IO芯片粒，使用TSMC的system-on-wafer技術(shù)集成到一起，從而實(shí)現(xiàn)超大算力支持。

　　在Intel和Tesla之外，AMD在本屆Hotchips上也帶來了其MI200系列高算力GPU加速芯片，這也是全球第一個(gè)使用芯片粒技術(shù)的GPU。AMD將兩塊芯片粒封裝在一起，同時(shí)使用400GB/s的高帶寬封裝內(nèi)互聯(lián)確保不同的芯片粒之間能高效互聯(lián)，每個(gè)芯片系統(tǒng)包含了580億個(gè)晶體管，使用TSMC 6nm制造。MI200是AMD在GPGPU領(lǐng)域的重要布局，我們從中看到芯片粒也起了至關(guān)重要的作用，而在其下一代MI300 GPGPU目前公布的信息來看，AMD將會(huì)進(jìn)一步加強(qiáng)芯片粒和高級(jí)封裝技術(shù)的作用，從而實(shí)現(xiàn)更大規(guī)模和更高性能的芯片系統(tǒng)。

　　芯片和軟件協(xié)同設(shè)計(jì)將成為主流

　　在芯片粒之外，另一個(gè)值得我們關(guān)注的動(dòng)向是芯片和軟件協(xié)同設(shè)計(jì)。如前所述，芯片系統(tǒng)的規(guī)模正在越來越大，模塊越來越多，功能越來越復(fù)雜，如果沒有一個(gè)好的軟件系統(tǒng)和生態(tài)的話，具體的應(yīng)用很難充分利用芯片提供的性能，從而看到的就是實(shí)際應(yīng)用中的實(shí)際性能和芯片的峰值性能相差甚遠(yuǎn)。更進(jìn)一步，隨著人工智能這類算法驅(qū)動(dòng)類應(yīng)用的火熱，如何結(jié)合算法來做芯片的優(yōu)化和設(shè)計(jì)也是進(jìn)一步提升芯片性能的重要方法之一。而我們?cè)诒緦肏otchips上也確實(shí)看到了軟件和算法相關(guān)優(yōu)化成為了廠商在演講內(nèi)容中的重點(diǎn)。

　　Intel在本屆Hotchips上的Ponte Vecchio演講中，一個(gè)重點(diǎn)就是其OneAPI軟件接口以及DPC++工具。OneAPI使用一個(gè)API來支持不同的底層硬件，從而理想的情況下無需修改應(yīng)用的軟件代碼，只需要在OneAPI中直接指定相應(yīng)的后端執(zhí)行硬件就可以。OneAPI計(jì)劃會(huì)支持至少Intel的CPU和GPU，可望大大減少應(yīng)用所需要的軟件工作。另一方面，DPC++則是Intel對(duì)于目前CUDA生態(tài)的回應(yīng)，使用DPC++可以將已有的為CUDA編寫的程序直接移植到Intel的GPU上，這樣就大大增加了Intel生態(tài)的吸引力。

　　軟件在Tesla的Dojo芯片中也起到了至關(guān)重要的作用。如前所述，Dojo的設(shè)計(jì)牽涉到大量的compute tile，如何在不同的compute tile之間分配任務(wù)就成了決定整體系統(tǒng)性能的關(guān)鍵；除此之外，如何在不同的Dojo芯片之間分配任務(wù)也決定了整體系統(tǒng)的可擴(kuò)展性。在Tesla的解決方案中，編譯器軟件將會(huì)確保將模型并行化處理并且加載到不同的compute tile中，同時(shí)盡量保證模型需要的數(shù)據(jù)都能裝入片上SRAM中以保證性能降低對(duì)外部DRAM的依賴。除了編譯器之外，Tesla在軟件-芯片協(xié)同設(shè)計(jì)中另一個(gè)值得一提的是使用了獨(dú)特的數(shù)值表示方式，在常見的FP16和BFP16之外還支持自研的CFP8和CFP16格式的數(shù)值表示方式并且在芯片中做了相應(yīng)支持。根據(jù)Tesla公布的材料使用CFP8和CFP16可以獲得更好的模型訓(xùn)練效果，而這也是軟件-芯片協(xié)同設(shè)計(jì)的很好例子。

　　在Intel和Tesla之外，在本屆Hotchips上和AI相關(guān)的演講幾乎都會(huì)涉及軟件-芯片協(xié)同設(shè)計(jì)，其中包括了業(yè)界巨頭如Nvidia（Hopper GPU中使用了FP8和Transformer Engine），以及新銳初創(chuàng)公司如Untether AI（公布了UAI FP8數(shù)制和imAIgine SDK）和壁仞（TF32+數(shù)制和BIRENSUPA軟件平臺(tái)）。我們認(rèn)為，軟件-芯片協(xié)同設(shè)計(jì)正在成為芯片行業(yè)進(jìn)一步推動(dòng)芯片規(guī)模更上一個(gè)臺(tái)階背后的重要支柱之一，只有在有了強(qiáng)而有力的軟件支持，以及對(duì)于算法的深入理解后，芯片規(guī)模進(jìn)一步提升才會(huì)有相應(yīng)的回報(bào)。

 更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<