2024年8月19日，“第四屆滴水湖中國(guó)RISC-V產(chǎn)業(yè)論壇”在上海滴水湖洲際酒店召開。北京大學(xué)講席教授、RISC-V國(guó)際基金會(huì)人工智能與機(jī)器學(xué)習(xí)專委會(huì)主席謝濤做了主題為《萬(wàn)物智聯(lián)時(shí)代RISC-V+AI之路》，介紹了國(guó)產(chǎn)AI芯片產(chǎn)業(yè)如何打破英偉達(dá)CUDA生態(tài)的壟斷。

近年來(lái)隨著AI的爆發(fā)，國(guó)產(chǎn)AI芯片也獲得了快速的發(fā)展，但是同時(shí)國(guó)產(chǎn)AI芯片也面臨著美國(guó)對(duì)華先進(jìn)制程技術(shù)封鎖。此外，在軟件生態(tài)方面，國(guó)產(chǎn)AI芯片的軟件生態(tài)的發(fā)展也面臨著英偉達(dá)CUDA生態(tài)的制約。

眾所周知，GPU多年前一直被用于圖形任務(wù)處理，直到2012年，英偉達(dá)為了推動(dòng)GPU能夠用于AI計(jì)算加速而對(duì)于GPU進(jìn)行改造，采用Tensor Core（張量計(jì)算單元），隨后推出了一種協(xié)助“CPU任務(wù)分發(fā)+GPU并行處理”的編程模型/平臺(tái)——CUDA。隨后經(jīng)過(guò)近10年的市場(chǎng)培育與發(fā)展，CUDA已經(jīng)成為了全球最大AI軟件開發(fā)平臺(tái)，目前已經(jīng)擁有了近500萬(wàn)名使用英偉達(dá)CUDA語(yǔ)言和接口的開發(fā)者，形成了一個(gè)非常龐大的生態(tài)系統(tǒng)，成為了英偉達(dá)統(tǒng)治AI芯片市場(chǎng)最為核心的“護(hù)城河”。為此，英偉達(dá)已累計(jì)為CUDA生態(tài)投入了高達(dá)120億美元的資金。

相比之下，不論是其他的國(guó)際AI芯片廠商，還是近年來(lái)迅速成長(zhǎng)起來(lái)的國(guó)產(chǎn)AI芯片公司在軟件生態(tài)方面都是非常的薄弱。因此，這些公司本著“打不過(guò)就加入”的思路，選擇兼容CUDA軟件生態(tài)、特別是走GPGPU路線的做法來(lái)助力自身的發(fā)展。

謝濤指出，這樣的一個(gè)道路雖然能夠解燃眉之急，但是長(zhǎng)遠(yuǎn)來(lái)看它還是受制于人。當(dāng)然，目前走非CUDA路線的AI芯片公司，整體上也是呈“小、散、弱”的局面。這主要是由于：1、指令集不統(tǒng)一，硬件架構(gòu)分散；2、軟件棧不統(tǒng)一，用戶學(xué)習(xí)成本高；3、算子覆蓋度低，用戶遷移成本高；4、企業(yè)各自為戰(zhàn)，沒有足夠的生態(tài)競(jìng)爭(zhēng)力。

那么，可否借鑒開源的安卓生態(tài)（ 多樣化的硬件選擇、開放源代碼的自由度、廣泛的應(yīng)用和服務(wù)）或者封閉的iOS生態(tài)（高度整合協(xié)同的硬件和軟件、卓越的用戶體驗(yàn)、安全性的保障）的模式，來(lái)突破英偉達(dá)CUDA生態(tài)的封鎖呢？

利用開源的RISC-V生態(tài)

對(duì)此，謝濤認(rèn)為，我們可以利用開源的RISC-V生態(tài)來(lái)團(tuán)結(jié)大家，一起本著開源、開放的原則去共建生態(tài)可能更有機(jī)會(huì)。

此前，中國(guó)科學(xué)院孫凝暉對(duì)信息技術(shù)新體系的思考（中國(guó)科學(xué)院院刊2022.37）當(dāng)中，對(duì)于建立高水平自立自強(qiáng)的計(jì)算技術(shù)新體系，也有提到三種模式：

A體系（高鐵模式）：我國(guó)信息化的主流平臺(tái)被x86、ARM生態(tài)所占領(lǐng)，還光、海思等國(guó)產(chǎn)處理器的道路強(qiáng)調(diào)“全兼容”——“離了你，我不行?！?/p>

B體系（北斗模式）：強(qiáng)調(diào)全自主，以龍芯和申威為代表，因?yàn)椴桓袌?chǎng)主流兼容，所以生態(tài)弱——“離了你、我勉強(qiáng)行?！?/p>

C體系（5G模式）：走全開放的道路，全世界一起來(lái)建生態(tài)，誰(shuí)也不控制誰(shuí)，誰(shuí)也不能卡誰(shuí)。比如：RISC-V——“你中有我、我中有你。”

目前，在CUDA相關(guān)的AI軟件生態(tài)壟斷下，其實(shí)國(guó)產(chǎn)AI芯片廠商“A體系”、“B體系”路線都有在做。

比如，A體系：加入CUDA陣營(yíng)，比如壁仞、阿里平頭哥等。雖然能夠享受英偉達(dá)CUDA生態(tài)所帶來(lái)的各種資源加持，有助于自身的快速發(fā)展，但是這種研發(fā)永遠(yuǎn)處于“跟隨”狀態(tài)，被人牽著鼻子走、難以繞過(guò)大量專利，只能靠開源的編譯器規(guī)避訴訟雖然容易獲得客戶，并且反而加強(qiáng)了CUDA生態(tài)。英偉達(dá)每發(fā)布新一代的新一版本CUDA的時(shí)候，會(huì)加進(jìn)去會(huì)很好發(fā)揮新一代英偉達(dá)芯片特性特點(diǎn)的這些API，通過(guò)這個(gè)手段每次發(fā)布新的CUDA版本都能托其它的芯片公司幾年。這也是一個(gè)可能的風(fēng)險(xiǎn)，哪一天開源編譯器也不能用、不能編譯非英偉達(dá)的AI芯片，這個(gè)時(shí)候?qū)Σ捎眠@個(gè)路線的企業(yè)來(lái)說(shuō)就是一個(gè)很大的沖擊了。

B體系：自定義編程語(yǔ)言，比如華為昇騰、寒武紀(jì)等。面臨著成本高昂：各公司需維護(hù)一整套軟件工程團(tuán)隊(duì)，積累數(shù)十年研發(fā)投入；人才稀缺：系統(tǒng)軟件、編程語(yǔ)言、編譯器人才稀缺；力量分散：各公司各自為戰(zhàn)，難以形成有效合力與CUDA抗衡等眾多的挑戰(zhàn)。

那么，RISC-V作為一個(gè)開源、開放的CPU指令集，談AI芯片及軟件生態(tài)又與CPU指令集有什么關(guān)系呢？

在今年的世界人工智能大會(huì)上，RISC-V國(guó)際基金會(huì)理事長(zhǎng)戴路就有指出：“RISC-V是最適合AI的指令集架構(gòu)?！敝鸕ISC-V AI芯片廠商TenstorrentInc首席CPU構(gòu)架師練維漢也表示：“RISC-V架構(gòu)更適合做AI計(jì)算”。

謝濤總結(jié)認(rèn)為，RISC-V AI芯片的兩種主要模式：

1、Integrated模式（緊耦合）：適合低功耗領(lǐng)域（RISC-V+AI），以CPU主干為骨架，集成在CPU內(nèi)部，共享PC、寄存器堆等流水線單元，只是在執(zhí)行單元部分增加了矩陣或向量單元；

2、Attached模式（松耦合）：適合大算力領(lǐng)域（AI+RISC-V），外掛在CPU上的，會(huì)有自己獨(dú)立的流水線、寄存器堆、緩存等。它是“協(xié)處理器”，它可以接收來(lái)自一個(gè)或多個(gè)CPU的指令，異步地執(zhí)行不同CPU提交過(guò)來(lái)的任務(wù)。

那么基于RISC-V構(gòu)建AI算力有什么優(yōu)勢(shì)呢？

1、開放與靈活性。AI工作負(fù)載變化快，需要特定的優(yōu)化才能達(dá)到最佳性能；RISC-V開放免費(fèi)的特性為芯片設(shè)計(jì)者提供了極大的靈活性，可以根據(jù)具體需求定制AI加速器；

2、高度可擴(kuò)展性。RISC-V的指令集精簡(jiǎn)且高度擴(kuò)展，設(shè)計(jì)者可以根據(jù)需要添加自定義指令集擴(kuò)展，以增強(qiáng)AI計(jì)算的性能和效率。例如：可以增加向量擴(kuò)展或其他專用于AI的指令集，從而提升計(jì)算速度和能效；

3、功耗和效率優(yōu)勢(shì)。RISC-V架構(gòu)通過(guò)簡(jiǎn)潔設(shè)計(jì)和定制化擴(kuò)展，可實(shí)現(xiàn)高效的能量使用；RISC-V架構(gòu)能夠通過(guò)小型且高效的處理單元，減少等待數(shù)據(jù)傳輸?shù)臅r(shí)間，提升整體計(jì)算效率；

4、加速壯大的RISC-V生態(tài)系統(tǒng)和社區(qū)支持。根據(jù)RISC-V產(chǎn)業(yè)年鑒顯示：2023年全球RISC-V出貨量約200億顆，采用了RISC-V架構(gòu)的SoC芯片出貨量超過(guò)了10億顆，RISC-V全球市場(chǎng)規(guī)模接近8億、預(yù)計(jì)今年將接近10億。截至2023年底，RISC-V國(guó)際基金會(huì)已經(jīng)擁有了4423個(gè)成員，同比增長(zhǎng)28%，遍布全球70多個(gè)國(guó)家?？梢哉f(shuō)，RISC-V生態(tài)的多樣性和開放性吸引了全球大量開發(fā)者和企業(yè)加入，為RISC-V的發(fā)展提供了強(qiáng)大的推動(dòng)力和豐富的軟件及IP資源，在RISC-V+AI領(lǐng)域具備了良好的發(fā)展前景。

對(duì)于國(guó)產(chǎn)RISC-V+AI生態(tài)來(lái)說(shuō)，目前也是機(jī)遇與挑戰(zhàn)并存。謝濤指出，主要的挑戰(zhàn)包括：生態(tài)碎片化；資源投入嚴(yán)重不足；缺少組織統(tǒng)籌；產(chǎn)學(xué)研協(xié)同不緊。

那么，如何來(lái)應(yīng)對(duì)這些挑戰(zhàn)呢？謝濤給出了自己的思路，將主要圍繞以下三點(diǎn)來(lái)進(jìn)行創(chuàng)新：

1、自下而上。以RISC-V指令集擴(kuò)展（推動(dòng)成RISC-V國(guó)際基金會(huì)標(biāo)準(zhǔn)）+開源系統(tǒng)軟件棧為公共開源根去利用國(guó)際開放/開源社區(qū)去長(zhǎng)葉（基于開源根的商業(yè)軟件/芯片），形成“根技術(shù)開源”與“葉技術(shù)競(jìng)爭(zhēng)”的技術(shù)生態(tài)布局。

2、從端到云。聚焦邊緣/中斷側(cè)（多樣性、碎片化且大數(shù)量算力場(chǎng)景，比如：智能終端、AIPC等）來(lái)推動(dòng)軟件生態(tài)的發(fā)展與應(yīng)用，以帶動(dòng)云上的軟件生態(tài)。
3、工具創(chuàng)新。依托日益強(qiáng)大的RISC-V軟硬件生態(tài)去聚焦全球開源工具創(chuàng)新。

“現(xiàn)在萬(wàn)物智聯(lián)時(shí)代，大家在‘端’上可以作為出發(fā)點(diǎn)、最后再去以‘農(nóng)村包圍城市’這樣的形式在‘云’上和英偉達(dá)進(jìn)行抗衡。我們現(xiàn)在做的不是說(shuō)像英偉達(dá)那樣人海戰(zhàn)術(shù)450萬(wàn)開發(fā)者大軍做起來(lái)，我們是聚焦在系統(tǒng)軟件棧、編譯等組織全球力量一起去發(fā)展和建設(shè)。”謝濤進(jìn)一步解釋道。

支持“國(guó)際標(biāo)準(zhǔn)”+共建“開源社區(qū)”兩手抓

除了自主創(chuàng)新之外，要想打破英偉達(dá)CUDA生態(tài)的壟斷，謝濤表示，我們需要堅(jiān)持“國(guó)際標(biāo)準(zhǔn)+開源社區(qū)”兩抓手。

首先，我們應(yīng)該以推動(dòng)RISC-V國(guó)際標(biāo)準(zhǔn)為抓手，到國(guó)際上去借力。把握“根技術(shù)”從我國(guó)領(lǐng)軍企業(yè)共識(shí)出發(fā)，快速布局新時(shí)代的新市場(chǎng)（智能終端、AIPC等），以推動(dòng)RISC-V國(guó)際基金會(huì)標(biāo)準(zhǔn)來(lái)依托上游國(guó)際開源社區(qū)來(lái)貢獻(xiàn)系統(tǒng)軟件棧。

RISC-V國(guó)際基金會(huì)推標(biāo)準(zhǔn)是“自下而上”的，需要重多的RISC-V企業(yè)共同來(lái)推動(dòng)，雖然大家可能有競(jìng)爭(zhēng)，但是也有“共同的目標(biāo)”，所以我們不能只推中國(guó)國(guó)內(nèi)的標(biāo)準(zhǔn)，我們也要繼續(xù)支持RISC-V國(guó)際基金會(huì)的標(biāo)準(zhǔn)，并積極參與標(biāo)準(zhǔn)的制定。而且推標(biāo)準(zhǔn)也不是目的，是手段，形成標(biāo)準(zhǔn)之后，這些各大的國(guó)際開源主流社區(qū)，就會(huì)自然的支持你的更新迭代，也會(huì)帶來(lái)第三方的維護(hù)。通常芯片公司要養(yǎng)2/3的工程師都是軟件工程師，現(xiàn)在這種方式極大的減負(fù)了，使得整個(gè)生態(tài)可以一起來(lái)分擔(dān)。

其次，我們可以以共建國(guó)際開源軟件生態(tài)為抓手，到國(guó)際上借力。因?yàn)镃UDA這個(gè)生態(tài)在AI領(lǐng)域的壟斷地位，使得AMD、英特爾、谷歌、微軟等等廠商都不希望英偉達(dá)CUDA一家獨(dú)大。比如高通、谷歌和英特爾計(jì)劃聯(lián)手打造全新的AI軟件平臺(tái)，來(lái)替代CUDA。

另一方面，RISC-V也不是一個(gè)排他的思路，英偉達(dá)未來(lái)可能也會(huì)去擁抱它。英偉達(dá)開源的系統(tǒng)軟件棧Triton，雖然主要是支撐英偉達(dá)的GPGPU，（相當(dāng)于它是一個(gè)“大煙囪”），但是現(xiàn)在也有一些國(guó)際公司很看好Triton生態(tài)，也是為它壯大生態(tài)、都做成了小煙囪。比如：寒武紀(jì)也針對(duì)Triton發(fā)布一些對(duì)寒武紀(jì)比較優(yōu)化的算子。所以，大家也可以通過(guò)RISC-V團(tuán)結(jié)起來(lái)，形成另外一個(gè)平行的“大煙囪”，因?yàn)橛ミ_(dá)也是積極的支持Triton生態(tài)。為了同一個(gè)事情我們可以去借力，然后用RISC-V把大家團(tuán)結(jié)起來(lái)。包括谷歌等其它廠商也會(huì)慢慢的擴(kuò)展，也許又成為另外一個(gè)大煙囪，一起把開放開源的Triton生態(tài)做大。

另外就是英特爾主推的SYCL，它也是一個(gè)我們依托國(guó)際方興未艾、能夠很有生命力、發(fā)展很快的軟件生態(tài)之一。在這個(gè)場(chǎng)景下，北京開源芯片研究院今年成立了多個(gè)指令標(biāo)準(zhǔn)集工作組，團(tuán)結(jié)全國(guó)的力量來(lái)在這方面推動(dòng)。包括：在今年過(guò)年前也發(fā)起了一個(gè)“甲辰計(jì)劃”，呼吁大家一起來(lái)建設(shè)軟硬件的生態(tài)，也有超過(guò)40家的開源社區(qū)企業(yè)加入一起去推動(dòng)RISC-V的開源生態(tài)。