“能流暢跑70B模型的國產(chǎn)GPU有推薦的嗎?”在一個算力交流群里,一位從業(yè)者問。不少回復打趣道:“48GB顯存的4090?!?/p>
48GB顯存的4090顯卡并非英偉達推出的官方版本,而是國內特有的魔改版,專為滿足推理算力需求。該版本在市場上大量流通,價格近乎翻倍,目前在京東商城里,其售價在2-4萬元不等。
算力資源信息共享平臺柏林云負責人說:“雖然現(xiàn)在購買4090的價格翻了快一倍,但租賃供給比較充足,租金并沒有漲?!?/p>
與出租算力3-5年才能回本的周期相比,直接賣卡賺取翻倍利潤,讓囤有4090的智算中心抓住“救命稻草”。了解智算中心更多“自救”手段,歡迎添加作者微信YONGGANLL6662交流探討。
“4090沒有二手市場這個說法,市場上一些有卡的智算中心會把卡拆下來,翻新后再拿去當新卡賣掉,賺取成倍的利潤,不然4090停產(chǎn)這么久了,卡從哪里來?”智算中心運營商張翔說,“國內的4090主要是消費級風扇卡,用在智算中心要先改成渦輪卡,渦輪卡集中冷卻效果較風扇卡更為明顯,所以智算中心流出來的卡大多經(jīng)過改裝?!?/p>
拆賣顯卡的另一個重要原因在于,智算中心算力閑置情況嚴峻。
評估智算中心的算力使用情況,上架率和點亮率是兩個關鍵指標。上架率關注的是設備是否安裝上架并通電可運行,而點亮率關注的是設備是否在實際執(zhí)行計算任務,為業(yè)務所用。
軟通動力首席人工智能官金亞東告訴雷峰網(wǎng):“智算中心上架率不足70%-75%,沒辦法盈利,而現(xiàn)在說智算中心點亮率20%,實際情況可能比這更糟糕。”
面對大量閑置算力與回本難題,“賣卡回血”成了業(yè)內公開的秘密。
算力供給“無人問津”的另一面,是算力消納方“算力荒”。
一頭部互聯(lián)網(wǎng)大廠許多業(yè)務部門的算力需求都排不上號,特別是其大模型產(chǎn)品接入DeepSeek之后,集團響應各個業(yè)務部門算力需求的速度便慢了很多,甚至連明星AI應用都排不到算力。
“百度算力也不夠用,文心、云和大搜索幾個部門都在搶?!痹诎俣蓉撠烝I應用開發(fā)的李杰說,“算力就像糧食一樣,各個部門都在搶,就怕哪天突然鬧饑荒?!?/p>
供需錯配之下,智算產(chǎn)業(yè)亂象叢生。
智算中心銷售李海說:“市場上出現(xiàn)了一類被稱為‘算力媛’的人,主打信息差獲利,了解買方的需求再匹配合適的賣方,撮合一個幾億的項目就能從中賺幾千萬?!?/p>
智算中心數(shù)量過剩,而算力消納方高度集中,致使消納方得以向智算中心提出極為苛刻的合作條件。據(jù)了解,去年某明星大模型創(chuàng)業(yè)公司聊了近30個智算中心,壓價之外,還要求智算中心給他們投資,幫其做高估值,最后沒有一家簽下訂單。
賣卡回血、倒賣算力和惡意壓價之外,智算中心還面臨哪些行業(yè)“暗礁”?究竟是哪些因素致使行業(yè)生態(tài)扭曲?畸形的產(chǎn)業(yè)環(huán)境之下,智算中心又路在何方?
大廠算力緊缺,智算中心卻陷入“壓價、退租”寒潮
作為市面上最主要的算力消納方,大廠“苦算力短缺”已久。
前文提及的兩家大廠之外,阿里在全力投入通義千問之后,阿里集團內其它部門的算力也處于緊缺狀態(tài)。關于更多大廠算力內幕,歡迎添加作者微信YONGGANLL6662互通有無。
于是,頭部互聯(lián)網(wǎng)大廠紛紛加碼算力投入,新一輪的算力軍備競賽愈演愈烈。
微信接入DeepSeek后,騰訊向英偉達采購了數(shù)十億元規(guī)模的H20芯片。阿里則宣布,未來三年將投入超過3800億元用于建設云和AI硬件基礎設施,投入總額超過過去十年總和。而根據(jù)浙商證券的研報數(shù)據(jù),2025年字節(jié)用于AI算力采購的資本支出或達900億元。
大廠對算力搶得火熱,智算中心的算力卻閑置一旁。
據(jù)中國信通院報告顯示,全國已上線的智算中心,算力的整體利用率僅32%。而不少行業(yè)人士告訴雷峰網(wǎng),實際數(shù)據(jù)比這更低。
“去年模型廠商到處聊需求,營造出市場很火熱的現(xiàn)象,2024年規(guī)劃出了上千座智算中心,這些算力根本消耗不了?!睆埾璞硎尽?/p>
當供給無法消納,需求又難以滿足,行業(yè)注定偏離正軌,駛入歧途。
大廠和主要的模型廠商雖面臨算力短缺的問題,但對算力還是有較高的要求,譬如要求高功率機柜、高密度機柜以及對時間和空間的一些指定需求,大部分智算中心都無法達標,加之算力閑置的情況嚴峻,讓買方在市場里的話語權不斷膨脹。
金亞東表示,智算中心市場有明顯的金字塔效應,大家都追逐頭部廠商的需求。
一旦商業(yè)行為被太多不對等的現(xiàn)狀裹挾,強勢的一方勢必將所有利益搜刮殆盡。
據(jù)悉,去年某大廠要建一個H800算力集群,最終只有一家上市公司成功交付。原因不僅是大廠要求多,而且貼著智算中心建設方的成本價去出價,條款也很苛刻,導致算力供應方做起來就很難。
張翔透露,很多人做大廠的單子,投資回報率還跑不過銀行貸款,完全是雞肋型的生意。
如果說大廠的訂單是讓智算中心賺不到錢,那其他大模型公司就是讓智算中心做虧本買賣。
“跟國內排得上號的大模型公司合作,他們根本不讓你賺錢,就讓智算中心自己去拿政府的新能源指標補貼,或者讓智算中心賺設備租賃后剩下的殘值的錢?!睆埾枵f,“模型公司還會指定智算中心的租賃價格、上下游的合作對象以及設備來源,這非常不符合常理?!?/p>
李海表示,某家要做視頻模型的大模型公司由于對傳輸性能要求很高,A100相關系列基本上都用成本相對較低的RoCE組網(wǎng),但這個客戶要求算力中心提供IB(InfiniBand)組網(wǎng),并且這部分成本還要算力中心承擔,IB組網(wǎng)設備成本通常占服務器設備成本的15%-20%,價格非常昂貴。
但即便是苛刻的算力消納方,在DeepSeek出圈后,也開始退租。一位從業(yè)者告訴雷峰網(wǎng),智算中心開始出現(xiàn)退租的現(xiàn)象,主要是大模型創(chuàng)業(yè)公司,因為他們靠融資活著,沒有自己造血的能力,市場上幾家有名的模型公司都有退租的情況。
李海透露,曾是他們公司重要客戶的某六小龍模型公司,近期雖連獲多輪融資,合作規(guī)模卻大幅縮水。
智算中心低上架率背后:供需錯配、性能缺陷及地域限制
當行業(yè)處在早期泡沫階段,亂象的出現(xiàn)是必經(jīng)階段。智算中心的桎梏,從何而來?
供需結構性錯配
“DeepSeek出現(xiàn)之前,設備選型是造成算力閑置的原因之一?!鄙扑奸_悟人工智能科技公司CEO余溢告訴雷峰網(wǎng),“國產(chǎn)算力、PCIe接口的H100和H800,由于用于訓練性價比較低,應用端需求又尚未起來,造成了較為嚴重的閑置現(xiàn)象?!?/p>
“不過,這些設備可以用來做推理,DeepSeek出現(xiàn)后,算力閑置的現(xiàn)象有所改觀。”余溢補充說。
算力資源和需求的錯配造成了算力浪費,另一面是對口的算力用不了。
金亞東表示,大部分智算中心的規(guī)模都在1000P(1P算力每秒能夠進行一千萬億次計算)上下,由非常分散的社會資本和城市資本建設,這些資本的特性是有錢但不懂行業(yè),很難去找到合適的需求方。
而給大廠供算力,更是講究“天時、地利、人和”。
“很多智算中心都無法滿足大廠大規(guī)模訓練的前置要求,比如高能耗指標、高功率機柜、高密度機柜以及集群的排布。”余溢表示。
硬件性能匹配難度大,讓大廠習慣找自己的長期合作伙伴,因為雙方磨合久了,算力提供方能更懂大廠的需求,譬如潤澤科技就拿了很多字節(jié)以及幾家頭部互聯(lián)網(wǎng)公司的訂單。
因此,第三方公司想要拿到訂單就只能抓住大廠算力緊缺的窗口期,就像H20的突然爆火帶來的需求。不過,能流向市場的訂單都比較緊急,比如要求三個月內算力就必須到位。
有從業(yè)者透露,很多拿到大廠訂單的廠商會把訂單拿到市場上“招標”,自己不持有設備,純賺差價。
而創(chuàng)業(yè)公司是數(shù)量很大的長尾客戶,這部分公司的需求尚未起來也是算力閑置的重要原因。
“AI應用需求是一個冪指數(shù),現(xiàn)在在底部爬行,到了爆發(fā)的節(jié)點會上漲很多,AI應用爆發(fā)起來還要1-2年的時間?!苯饋問|說,“目前,AI應用的發(fā)展還面臨比較多的門檻,包括對技術的認知、成本的考量以及底層大模型能力尚有欠缺?!?/p>
找不到、用不起算力,也是目前創(chuàng)業(yè)公司面臨的普遍問題。
“由于英偉達被禁,解決算力需求比較受制于渠道資源,供需匹配存在困難,所以算力市場有很多二道販子。”余溢表示。
另外,對很多創(chuàng)業(yè)公司而言,還存在用不起算力的現(xiàn)象。李海表示,很多AIGC公司還希望用一年前的預算來購買和租賃現(xiàn)在的設備。
國產(chǎn)算力性能欠缺
供需結構性錯配之外,國產(chǎn)算力性能無法匹配市場需求,同樣造成算力浪費。
“公司測試了國產(chǎn)芯片的性能,測試工程師反饋‘只適合個人用戶玩一下,無法作為產(chǎn)品服務去交付’?!睆埾枵f,“國產(chǎn)芯片部署模型,只要出錯過一次,服務器就會掛掉,需要重啟服務?!?/p>
據(jù)了解,不少國產(chǎn)芯片公司為了拿到智算中心的訂單,會向智算中心承諾包銷算力,并且出資10%-20%去建設智算中心,在明面上,將雙方的利益捆綁在一起。
“事實上,關于包銷承諾,很多都是無疾而終,不過芯片廠商不兌現(xiàn)承諾,智算中心就不給尾款?!睆埾枵f,“最后的結局就是一地雞毛,設備放著吃灰?!?/p>
目前,國產(chǎn)芯片公司都急于拿到智算中心的訂單,原因在于智算中心的大單能給芯片公司做“漂亮賬”,能不能用并不重要,重要的是有實際的訂單數(shù)額。芯片行業(yè)資深從業(yè)者潘齊透露,有從大廠跳槽到芯片公司負責銷售的人,因為拿不到智算中心的訂單離職了。
頭部的國產(chǎn)AI芯片創(chuàng)業(yè)公司都已走到?jīng)Q勝IPO的階段,產(chǎn)品能力、實際的訂單數(shù)量以及大集群的建設能力對于誰能勝出,有著重要影響。
焦灼的競爭態(tài)勢之下,為了拿到智算中心的訂單,市場上滋生出許多“非常規(guī)操作”。
據(jù)悉,包銷承諾讓智算中心算力閑置的壓力壓到了芯片公司身上,除了跑路的極端情況外,更體面的做法是花錢雇算力消納方去使用自己的算力。
“某國產(chǎn)芯片公司被逼得花錢買營收,找到大模型廠商和一些實驗室談合作,花一個億換回三四千萬的營收?!迸她R說。
而自身有算力需求業(yè)務板塊的公司,則會讓自己的業(yè)務去消納算力,向智算中心保證使用率,但撐完6個月的驗收期之后,就撤掉業(yè)務,導致算力利用率大幅下降。
地域限制為算力消納戴上枷鎖
“大部分東部沿海地區(qū)的算力供給會因為夏天電力不足面臨挑戰(zhàn),西部地區(qū)電力資源豐富,但算力的使用場景不足?!彪娦叛芯吭阂患壏治鰩煆埿|表示,“以胡煥庸線為界,根據(jù)統(tǒng)計的結果,東部地區(qū)AI上下游企業(yè)超過60萬家,西部地區(qū)僅1萬家左右,但只有30%的智算中心能做跨省的算力調度,算力孤島的現(xiàn)象很嚴重?!?/p>
此外,一些縣級市建設的算力中心,主要目的是拿到省里的補貼,但縣級市一般缺乏可以做后期維護的技術團隊,并且當?shù)貨]有消納算力的企業(yè),這就造成設備的空置率非常高。不少從業(yè)者認為,地方政府應該把算力和應用捆綁起來作為智算中心建設的考核指標。
算力跨區(qū)域調度除了物理限制之外,還面臨“人為限制”。
一位從業(yè)者表示,一些地區(qū)的算力補貼會限定只有當?shù)氐钠髽I(yè)才能享用,這也會造成資源的錯配。
而數(shù)據(jù)的隱私性和安全性,也讓算力的跨區(qū)域調配面臨掣肘。
據(jù)了解,大部分機構都會把數(shù)據(jù)留在自己的手里,所以對智算中心的位置會有要求,此前,互聯(lián)網(wǎng)大廠有黃金10公里的說法,要求算力部署在自己10公里的范圍內,既可以保證數(shù)據(jù)安全,又能夠降低延時。
“數(shù)據(jù)不可能流動起來,基本還是在當?shù)氐闹撬阒行淖鲇柧毢屯评??!币晃粡臉I(yè)者表示,“東數(shù)西算還沒有發(fā)揮出其價值?!?/p>
算力需求將漲10倍,5000萬家中小型企業(yè)才是算力消納主力
“泡沫期”是行業(yè)大規(guī)模發(fā)展的必經(jīng)之路,這意味著資金、人才和技術的涌入,陣痛過后,智算中心將走上正軌。
“全社會對AI技術認可程度不斷提高,現(xiàn)在做AI應用機遇巨大,大廠的關注點更多落在平臺和生態(tài)方面。”余溢說,“創(chuàng)業(yè)公司單個客戶雖然小,但是數(shù)量很多,長尾客戶占到80%,會慢慢把閑置的算力填滿?!标P于AI應用及其對算力市場的影響,歡迎添加作者微信YONGGANLL6662交流討論。
金亞東則表示,智算中心獲益是一個很重要的指標,智算中心處在上游,其能盈利代表下游的AI應用已經(jīng)被盤活。
張小東認為,從數(shù)據(jù)產(chǎn)量和日均Token消耗量兩個維度進行推理,都能顯示出對算力的需求量正在不斷上漲。
2024年,中國數(shù)據(jù)產(chǎn)量同比增長20%,數(shù)據(jù)流通量同比增長超30%,很多數(shù)據(jù)都用于AI,從數(shù)據(jù)使用量的角度倒推算力需求量的增長比例大概在20%-30%。
從日均Token消耗數(shù)量統(tǒng)計,運營商內部估算的數(shù)據(jù)是2024年整體的Token消耗量大概在5萬億,2025年底預計會翻十倍到50萬億,Token用量代表對算力的消耗,從這個角度講,算力的需求會增長1000%。
需求量的上漲將帶動閑置算力的消納,而行業(yè)也正在推出更靈活的銷售模式以適應市場需求。
針對訓練需求,智算中心會把零散的算力組成整體售賣給頭部客戶。針對小客戶的推理需求,智算中心會把算力打散,改變原先租整機的模式,將一臺機器8張卡分成24小時售賣,靈活配置卡時給用戶。而按照Token計數(shù)的算力收費模式,則通過最小的計費單位,實現(xiàn)最大化的算力消納,提高算力的利用率。
“世界上沒有用不掉、不合適的算力,重點在于找到合適的應用?!苯饋問|說,“算力市場更重要的是做好‘散對散’之間的配對,100-1000P算力供給方和大概5000萬家中小型企業(yè)才是未來市場的主角,已經(jīng)上線的天元智算算力調度平臺就能為散對散的交易提供合作渠道?!?/p>
而對于國產(chǎn)算力面臨的性能問題,也不斷有新的技術解決方案進行算力優(yōu)化。
“國產(chǎn)芯片比較像單項選手,整體的性能較弱但一些指標性能尚可。”潘齊認為,通過異構集群對國產(chǎn)芯片進行算力優(yōu)化,并通過先進計算迭代平臺,推動軟件帶動硬件,能夠形成一個整體優(yōu)化的解決方案。
國內北電數(shù)智、無問芯穹和澎峰科技等企業(yè)都在針對國產(chǎn)算力做優(yōu)化,通過不同的技術解決方案,提升國產(chǎn)芯片在算力方面的性能和效率。
政府補貼是支撐國內智算產(chǎn)業(yè)發(fā)展的重要力量,卻在市場上飽受詬病。不少從業(yè)者認為,補貼引來了諸多逐利者,擾亂了智算中心產(chǎn)業(yè)的正常發(fā)展。
金亞東說,“這是產(chǎn)業(yè)發(fā)展的規(guī)律性現(xiàn)象,在初級階段,國家把錢投到智算中心并推動國產(chǎn)芯片的使用沒什么問題,新能源電動車也是這樣補貼出來的,先補供給側,供給量足夠大的時候再補需求側,最后讓需求側挑選供給側,市場化的篩選能挑出最有競爭力的參與者?!?/p>
下個階段,政府的支持和補貼或將轉移到下游的AI應用。隨著需求量的增加、供需匹配機制的完善以及撥亂反正的推進,智算中心還值得期待。