7月26日,2025世界人工智能大會(WAIC)在上海世博中心啟幕,華為首次線下展出昇騰384超節(jié)點,即Atlas 900 A3 SuperPoD,支持單集群300PFLOPS算力輸出。
據(jù)介紹,該產(chǎn)品基于超節(jié)點架構(gòu),采用全對等(Peer-to-Peer)UB 總線,將384 顆 NPU + 192 顆鯤鵬 CPU 通過無阻塞 Clos 架構(gòu)互聯(lián),單跳時延 <200 ns,帶寬 392 GB/s,比傳統(tǒng) RoCE 提升 15 倍。3168 根光纖 + 6912 個 400 G 光模塊實現(xiàn)百納秒級互聯(lián),支持 2 m 以上長距部署,突破了銅纜距離限制。
這些大帶寬低時延互聯(lián)技術(shù),解決了昇騰384超節(jié)點集群內(nèi)計算、存儲等各資源之間的通信瓶頸,通過系統(tǒng)工程的優(yōu)化,實現(xiàn)資源的高效調(diào)度,讓超節(jié)點像一臺計算機一樣工作。具體性能上,昇騰384超節(jié)點單集群 BF16 稠密算力 300 PFLOPs,約為英偉達 GB200 NVL72 的 1.7 倍。
能效比(MFU)從行業(yè)平均 30% 提升到 45% 以上,已用于訓(xùn)練 7180 億參數(shù)的盤古 Ultra MoE 大模型。
值得一提的是,在今年5月的鯤鵬昇騰開發(fā)者大會上,華為推出了昇騰超節(jié)點(CloudMatrix 384),成功實現(xiàn)業(yè)界最大規(guī)模的384卡高速總線互聯(lián)。昇騰超節(jié)點具備超大帶寬、超低時延、超強性能的三大優(yōu)勢,包括多款訓(xùn)練和推理產(chǎn)品,基于超節(jié)點創(chuàng)新架構(gòu),更好的滿足模型訓(xùn)練和推理對低時延,大帶寬,長穩(wěn)可靠的要求。
本月初,華為云官微通過一段視頻展示了CloudMatrix 384超節(jié)點算力集群,并表示該超節(jié)點算力集群可實現(xiàn)業(yè)界最大單卡推理吞吐量——2300Tokens/s;業(yè)界最大集群算力——16萬卡,萬卡線性度高達95%;云上確定性運維-40天長穩(wěn)訓(xùn)練、10分鐘快速恢復(fù)。
華為云表示,新一代昇騰AI云服務(wù),是最適合大模型應(yīng)用的算力服務(wù)。
簡單來說,華為CloudMatrix并非簡單的“堆卡”,而是通過高帶寬全對等互聯(lián)(Peer-to-Peer)來設(shè)計,這也是CloudMatrix 384硬件架構(gòu)的一大創(chuàng)新。
傳統(tǒng)的AI集群中,CPU相當(dāng)于公司領(lǐng)導(dǎo)的角色,NPU等其它硬件更像是下屬,數(shù)據(jù)傳輸?shù)倪^程中就需要CPU審批和簽字,效率就會大打折扣。
但在CloudMatrix384中,CPU和NPU等硬件更像是一個扁平化管理的團隊,它們之間的地位比較平等,直接通過UB網(wǎng)絡(luò)通信直接對話,效率自然就上來了。
今年4月份,國際知名半導(dǎo)體研究和咨詢機構(gòu)SemiAnalysis發(fā)布專題報道稱,華為云最新推出的AI算力集群解決方案CloudMatrix 384(簡稱CM384)憑借其顛覆性的系統(tǒng)架構(gòu)設(shè)計與全棧技術(shù)創(chuàng)新,在多項關(guān)鍵指標(biāo)上實現(xiàn)對英偉達旗艦產(chǎn)品GB200 NVL72的超越,標(biāo)志著中國在人工智能基礎(chǔ)設(shè)施領(lǐng)域?qū)崿F(xiàn)里程碑式突破。
據(jù)SemiAnalysis披露,華為云CM384基于384顆昇騰芯片構(gòu)建,通過全互連拓撲架構(gòu)實現(xiàn)芯片間高效協(xié)同,可提供高達300 PFLOPs的密集BF16算力,接近達到英偉達GB200 NVL72系統(tǒng)的兩倍。此外,CM384在內(nèi)存容量和帶寬方面同樣占據(jù)優(yōu)勢,總內(nèi)存容量超出英偉達方案3.6倍,內(nèi)存帶寬也達到2.1倍,為大規(guī)模AI訓(xùn)練和推理提供了更高效的硬件支持。
報道分析稱,盡管單顆昇騰芯片性能約為英偉達Blackwell架構(gòu)GPU的三分之一,但華為通過規(guī)?;到y(tǒng)設(shè)計,成功實現(xiàn)整體算力躍升,并在超大規(guī)模模型訓(xùn)練、實時推理等場景中展現(xiàn)更強競爭力。
SemiAnalysis也指出,華為的工程優(yōu)勢不僅體現(xiàn)在芯片層面,更在于系統(tǒng)級的創(chuàng)新,包括網(wǎng)絡(luò)架構(gòu)、光學(xué)互聯(lián)和軟件優(yōu)化,使得CM384能夠充分發(fā)揮集群算力,滿足超大規(guī)模AI計算需求。
此次華為云CloudMatrix 384的發(fā)布,標(biāo)志著中國在AI計算系統(tǒng)領(lǐng)域已具備與國際巨頭正面競爭的實力。
SemiAnalysis在報道中特別指出,華為的規(guī)?;鉀Q方案“領(lǐng)先于英偉達和AMD目前市場上的產(chǎn)品一代”,并認為中國在AI基礎(chǔ)設(shè)施上的突破將對全球AI產(chǎn)業(yè)格局產(chǎn)生深遠影響。