《科創(chuàng)板日報》3月21日訊,開年以來,開源大模型 DeepSeek 的爆火,如同一顆投入湖面的巨石,激起層層漣漪,直接引爆了大模型一體機產(chǎn)品的密集發(fā)布熱潮。
一時間,服務(wù)器廠商、云服務(wù)提供商、行業(yè)應(yīng)用開發(fā)商以及大模型技術(shù)供應(yīng)商等各路玩家紛紛入局,根據(jù) IDC 統(tǒng)計,市場上已迅速有接近百家廠商推出 AI 一體機產(chǎn)品。
但DeepSeek 一體機從最初的火爆 “出圈”,發(fā)展到真正在企業(yè)中能用、好用,還有相當(dāng)長的路要走。
▍熱潮涌動:需求量激增超200%!
《科創(chuàng)板日報》近期走訪云從科技、云天勵飛、優(yōu)刻得、火山引擎等廠商時發(fā)現(xiàn),DeepSeek 一體機的客戶需求極為火熱?!耙惑w機現(xiàn)在需求非常大,醫(yī)院、學(xué)校、政府、金融等行業(yè)都在找我們要?!?一位華為計算條線的業(yè)務(wù)人員透露。
云天勵飛副總裁羅憶表示:“智能算力的硬件需求量確實較多。政府和央國企的需求量,相比前兩年 ChatGPT 帶來的客戶密度翻了兩倍不止。政府客戶對于一體機較為認可的一點是,一體機部署不用做大量的前期準(zhǔn)備工作,可以降低 AI 應(yīng)用門檻,對于有良好數(shù)據(jù)治理基礎(chǔ)的領(lǐng)域,比如政務(wù)、金融等,能夠快速開發(fā)出不同應(yīng)用。”
云從科技董秘楊樺也指出,客戶需求量呈現(xiàn)出顯著的增長趨勢,尤其是一些對數(shù)據(jù)安全性和隱私保護有較高要求的企業(yè),他們對本地化部署的一體機表現(xiàn)出濃厚的興趣?!案鶕?jù)我們最近的業(yè)務(wù)線索和銷售情況,金融、政務(wù)等領(lǐng)域的客戶對 AI 一體機的需求尤為旺盛。比如我們和一個銀行正在合作的項目,就是通過一體機去整合多源數(shù)據(jù)(金融三期平臺、員工征信、合規(guī)系統(tǒng)等),構(gòu)建風(fēng)險數(shù)據(jù)集市與知識圖譜,實現(xiàn)風(fēng)險識別自動化和問責(zé)標(biāo)準(zhǔn)化?!?/p>
火山引擎相關(guān)負責(zé)人表示,火山引擎發(fā)布AI一體機后,已經(jīng)收到大量企業(yè)客戶的咨詢和下單,客戶需求超過預(yù)期。優(yōu)刻得新興產(chǎn)業(yè)事業(yè)部首席架構(gòu)師李天朋介紹,一體機主要面向政府、央國企、醫(yī)療、金融、教育等數(shù)據(jù)安全要求較高和工業(yè)等對延時較為敏感的應(yīng)用場景。
從售價來看,DeepSeek 一體機根據(jù)所承載的模型及搭載軟件的不同,單次交付成本在幾十萬至百萬左右。IDC 中國研究經(jīng)理程蔭認為,DeepSeek 帶動了整個中國市場對AI應(yīng)用的樂觀發(fā)展預(yù)期,如果能驅(qū)動更多企業(yè)(尤其是中小等長尾企業(yè))部署 AI,一體機市場將會迎來進一步發(fā)展。
然而,在這股熱潮之下,也有業(yè)內(nèi)人士表達了擔(dān)憂。一名IT業(yè)內(nèi)人士稱:“需警惕現(xiàn)在市場有點過熱。幾乎所有的政府部門都在提需求,大家有點一窩蜂??蛻暨€是要結(jié)合自己的實際情況。首先要清醒地認知,現(xiàn)在的大模型雖然說基模能力提升了,但最終距離深度和業(yè)務(wù)的結(jié)合中間還是有鴻溝,這取決于用戶自身的數(shù)據(jù)治理和業(yè)務(wù)梳理能力。”
▍理想與現(xiàn)實:下單周期漫長
盡管DeepSeek一體機咨詢需求火爆,但實際下單的周期較長。多名服務(wù)器廠商向《科創(chuàng)板日報》記者表示,關(guān)于DeepSeek一體機的咨詢很多,但基本都處于調(diào)研階段,而直接下單的客戶大多是此前已定好相關(guān)預(yù)算,選擇把原先定好的大模型訂單換成了DeepSeek。
“客戶處于測試階段的比較多,直接下訂單愿意買一臺來試試的客戶,通常是手里本來就有預(yù)算。這對于老牌大模型公司,其實沖擊蠻大。原先可能計劃采購閉源大模型,現(xiàn)在開源的DeepSeek一來,就把預(yù)算換成了部署開源模型?!?一名廠商人員表示。
李天朋指出,DeepSeek 一體機成單量比例相較于成熟云服務(wù)產(chǎn)品較低。“雖然客戶的需求意愿非常強烈,但一體機產(chǎn)品一般需要在客戶現(xiàn)場實際測試評估效果后才能夠簽單,目前因為資源較為緊缺的問題,上百家用戶正在進行測試排期,導(dǎo)致暫時成單相較于云服務(wù)產(chǎn)品較低。”
“很多用戶需要深度思考 DeepSeek 與自身業(yè)務(wù)場景之間的結(jié)合,在與一體機廠商咨詢后,需要對自身的業(yè)務(wù)、采購成本、接入方式等進行多方面的評估,DeepSeek 本身接入的方式也非常多樣,部分客戶會轉(zhuǎn)向API或者云上資源交付的方式。用戶咨詢時主要關(guān)注 DeepSeek 在自身應(yīng)用場景中的落地情況,希望廠商結(jié)合經(jīng)驗給出建議,市場上一體機產(chǎn)品硬件配置高度同質(zhì)化,性能差異不大,用戶更關(guān)注場景應(yīng)用、增值功能及后續(xù)服務(wù)?!?李天朋進一步解釋道。
談及一體機的落地,羅憶給出的建議是,“以云服務(wù)的方式,先通過模擬數(shù)據(jù)的方式做驗證和測試。然后比較確定這個業(yè)務(wù)是可以閉環(huán)的,能夠嵌入到業(yè)務(wù)流,然后再選擇合適的計算架構(gòu),把智算融入到企業(yè)和政府的 IT 架構(gòu)里。而一體機,則是在成本可接受情況之下的一種嘗鮮?!?/p>
目前,滿血版 DeepSeek 一體機采購成本在百萬元以上,投入不小。但從業(yè)務(wù)真正落地的角度考慮,多數(shù)從業(yè)者都建議用戶直接部署滿血版?!?2B的大模型用英偉達的4090芯片就能跑起來。采用32B和70B模型的客戶,大多數(shù)用于測試和微調(diào),真正業(yè)務(wù)要落地的還是采用滿血版。” 一名服務(wù)器銷售人員說。
羅憶也建議用滿血版模型來進行業(yè)務(wù)探索?!安⒉皇钦f這些小尺寸的模型沒有用,但當(dāng)探索一個新業(yè)務(wù)的時候,肯定要用最強的模型把整個業(yè)務(wù)跑通閉環(huán),之后再考慮在不同的業(yè)務(wù)環(huán)節(jié)用低成本的模型來填補?!?/p>
▍落地之困:大模型與業(yè)務(wù)場景的鴻溝
大模型距離業(yè)務(wù)落地仍然存在著較大的鴻溝。羅憶認為,“政府和企業(yè)的相關(guān)技術(shù)人才儲備嚴(yán)重不足,這一方面需要知識普及,另一方面大模型與業(yè)務(wù)的結(jié)合是逐步發(fā)生的過程,需要業(yè)務(wù)流的梳理,甚至業(yè)務(wù)流的編排,依賴業(yè)務(wù)專家深度參與。”
優(yōu)刻得的李天朋也指出,人才是一大挑戰(zhàn),企業(yè)采購私有化大模型一體機后,軟硬件運維和系統(tǒng)二次開發(fā)需要專業(yè)人才支撐,企業(yè)在人才積累和技術(shù)沉淀方面面臨長期挑戰(zhàn)。在業(yè)務(wù)場景方面,一體機不僅是硬件生意,未來隨著大模型應(yīng)用成熟,它將成為客戶側(cè)的核心組件,需要完善軟件生態(tài)體系,如解決大模型的安全、權(quán)限管理以及與業(yè)務(wù)結(jié)合的適配優(yōu)化等問題。
火山引擎相關(guān)人士表示,技術(shù)復(fù)雜性、成本、數(shù)據(jù)質(zhì)量、系統(tǒng)集成、人才短缺、安全性、業(yè)務(wù)適配、運維和 ROI 等都是存在的挑戰(zhàn)?!氨热?AI 一體機涉及硬件、軟件和AI模型的集成,技術(shù)門檻較高,也需要定期更新升級(比如支持 DeepSeek 后續(xù)的升級版模型),需要廠商能提供完善的維保服務(wù)。遇到AI大模型在實際業(yè)務(wù)場景中的性能不如預(yù)期的情況下,不僅需要企業(yè)自身配備專業(yè)的算法工程師,也需要AI一體機廠商在軟件層面能提供模型壓縮、量化和蒸餾工具,幫助優(yōu)化模型性能;提供自動化調(diào)優(yōu)工具,幫助企業(yè)快速找到最優(yōu)參數(shù);提供專業(yè)的AI咨詢服務(wù),幫助企業(yè)解決性能瓶頸?!?/p>
云從科技董秘楊樺總結(jié),大模型一體機落地仍有兩座大山需攻堅:一是場景深水區(qū)??蛻粢牟⒎?“萬能模型”,而是 “扎進業(yè)務(wù)毛細血管” 的解決方案,比如某些工業(yè)質(zhì)檢的識別精度必須達 99.9%,這需要行業(yè) Know-How 與AI的深度咬合;二是生態(tài)碎片化。目前的多重一體機硬件組合,特別是國產(chǎn)化這塊,硬件標(biāo)準(zhǔn)不統(tǒng)一、軟硬適配成本高,企業(yè)買一體機像 “拼樂高”,后期運維頭大。
▍未來趨勢:公有云和私有化部署將雙軌并行
當(dāng)前,市場上已迅速有接近百家廠商推出AI一體機產(chǎn)品。面對激烈的市場競爭,優(yōu)刻得新興產(chǎn)業(yè)事業(yè)部首席架構(gòu)師李天朋認為,不同廠商有不同優(yōu)勢,硬件廠商在硬件建設(shè)成本、硬件適配優(yōu)化和國產(chǎn)化適配方面有優(yōu)勢;云服務(wù)和算力服務(wù)廠商在端到端交付、前期客戶對接測試、模型管理和算力調(diào)度及后續(xù)大模型與用戶業(yè)務(wù)的深度結(jié)合等大模型全鏈路服務(wù)方面更具優(yōu)勢,能為客戶提供更好的使用體驗。
云從科技董秘楊樺表示,從趨勢判斷上看,隨著Deepseek的出現(xiàn),成本降低,大模型能力和解決問題的能力得到提升,開源將會帶來更多生態(tài)出現(xiàn)??紤]到國產(chǎn)安全性及國產(chǎn)化的需求,私有化部署需求將得到全面滿足,央國企和政府治理的全面數(shù)字化轉(zhuǎn)型會加快,需求釋放,加快落地。此外,企業(yè)數(shù)字員工、企業(yè)Agent的需求將迎來爆發(fā)式增長。這種轉(zhuǎn)變對于專注行業(yè)垂直領(lǐng)域,既懂AI又有業(yè)務(wù)認知的科技商業(yè)化公司帶來了巨大的機會和成長空間?!?/p>
楊樺預(yù)計,在公有云領(lǐng)域,推理成本預(yù)計每年以十倍幅度下降,這使得中小企業(yè)和消費級應(yīng)用正加速采用公有云服務(wù)。從市場占比來看,公有云主要聚焦于標(biāo)準(zhǔn)化服務(wù),在互聯(lián)網(wǎng)、教育、泛零售等領(lǐng)域占比可能較高。而私有化部署方面,政企、金融、制造、能源等高敏感行業(yè)仍以一體機為主導(dǎo),以政企、醫(yī)療、工業(yè)等垂直領(lǐng)域為核心。技術(shù)普惠層面,開源模型和低成本芯片,將進一步加速了大模型應(yīng)用的滲透。
“未來三年,大模型在公有云和私有化部署領(lǐng)域的市場趨勢將呈現(xiàn)雙軌并行、協(xié)同發(fā)展的格局。公有云部署將繼續(xù)保持快速增長,尤其是在互聯(lián)網(wǎng)、電商等對彈性能力和快速迭代需求較高的行業(yè)。私有云部署將保持快速增長,在政企、金融、醫(yī)療等對數(shù)據(jù)隱私和安全性要求高的行業(yè)快速普及?!被鹕揭嫦嚓P(guān)負責(zé)人稱。
DeepSeek所采用的混合專家系統(tǒng) MOE,降低了每次需要激活的大模型參數(shù)量,導(dǎo)致推理成本大大降低,也對于國產(chǎn)芯片帶來了利好。
“DeepSeek對國產(chǎn)智能算力的芯片和廠商,是一個巨大的機會。當(dāng)然其形式不僅限于一體機。未來必然是混合計算架構(gòu),而且應(yīng)用場景邊緣化的趨勢很明顯的,因為考慮到私有數(shù)據(jù)安全、低延時等問題。除了政府和大型企業(yè),未來的智算邊緣化落地一定是會向中小企業(yè),甚至家庭個人方向延展?!绷_憶稱,“我們芯片采用算力積木架構(gòu),雖然受制程影響,但是可以通過創(chuàng)新的架構(gòu),讓芯片能夠像搭積木一樣靈活組建、自由擴展?!?/p>
楊樺表示,傳統(tǒng)大模型(如GPT-4)部署成本高,DeepSeek等開源模型將訓(xùn)練成本降至十分之一,推理成本預(yù)計未來下降數(shù)十倍。DeepSeek一體機支持單機實時推理,邊際成本低,適合中小政務(wù)單位靈活應(yīng)用。“后續(xù)隨著我們協(xié)同華為、海光、寒武紀(jì)等生態(tài)伙伴產(chǎn)生規(guī)模效應(yīng),有助于進一步降低硬件與部署成本。”
需要指出的是,國產(chǎn)算力仍有非常長的路要走?!澳壳暗某杀疽廊挥行└?,存在巨大的可優(yōu)化和提升的空間。做好國產(chǎn)算力和先進模型的適配,提升性價比,這需要一個過程?!绷_憶坦言。
李天朋也表示,算力適配優(yōu)化,尤其是國產(chǎn)算力方面,目前國產(chǎn)GPU與英偉達GPU相比,在適配效果和性能輸出上還有提升空間,GPU生態(tài)體系也需進一步優(yōu)化?!?/p>