HPE與NVIDIA表示正為客戶提供構(gòu)建模塊,可用于組裝同布里斯托大學(xué)Isambard-AI超級(jí)計(jì)算機(jī)同架構(gòu)的迷你版本,用以訓(xùn)練生成式AI和深度學(xué)習(xí)項(xiàng)目。但目前價(jià)格尚未公布,希望數(shù)字友好。
兩家公司正聯(lián)手銷(xiāo)售一款基于HPE Cray EX2500架構(gòu)及NVIDIAGrace Hopper超級(jí)芯片的模塊化機(jī)器,其上運(yùn)行的則是兩家公司共同提供的軟件工具棧。
該系統(tǒng)將于本周在科羅拉多州召開(kāi)的SC23高性能計(jì)算(HPC)大會(huì)上公開(kāi)演示,設(shè)計(jì)目標(biāo)是通過(guò)預(yù)配置和預(yù)測(cè)試的完整技術(shù)棧,讓組織更輕松地啟動(dòng)并運(yùn)行AI訓(xùn)練。當(dāng)然,一切要等價(jià)格公布之后才有定論。
根據(jù)HPE的介紹,該系統(tǒng)是首款采用四GH200超級(jí)芯片節(jié)點(diǎn)配置的系統(tǒng),就是說(shuō)每個(gè)節(jié)點(diǎn)將包含4塊NVIDIA高端芯片。每塊超級(jí)芯片都擁有72核Arm架構(gòu)Grace CPU與Hopper GPU,并配備480 GB的LPDDR5x內(nèi)存與144 GB HBM3e高帶寬內(nèi)存。
這些節(jié)點(diǎn)采用HPE的Slingshot互連技術(shù),這項(xiàng)技術(shù)屬于以太網(wǎng)的超集,添加了高性能計(jì)算(HPC)所必需的諸多功能。
雖然硬件成本相當(dāng)可觀,但HPE表示這套特殊的解決方案允許客戶先從小規(guī)模起步,隨后根據(jù)需求靈活擴(kuò)展。
HPE高性能計(jì)算、人工智能與實(shí)驗(yàn)室執(zhí)行副總裁Juston Hotard在采訪中表示,“已經(jīng)有一部分客戶發(fā)布了搭載Grace Hopper超級(jí)芯片的產(chǎn)品,但我們的EX2500仍然獨(dú)一無(wú)二,因?yàn)樗勺鳛榻y(tǒng)一的單位進(jìn)行部署,全部冷卻、供電和計(jì)算板件均部署在同一模塊之內(nèi)。”
他解釋道,這意味著該系統(tǒng)“不僅為客戶提供了非常簡(jiǎn)單的入門(mén)選項(xiàng),同時(shí)還具備廣闊的擴(kuò)展空間?!?/p>
作為方案中的軟件技術(shù)棧,HPE帶來(lái)了自己的機(jī)器學(xué)習(xí)開(kāi)發(fā)環(huán)境(Machine Learning Development Environment)。這是一套用于訓(xùn)練生成式AI模型的平臺(tái),主要基于HPE在2021年收購(gòu)自Defined AI的技術(shù)。
方案中還包含NVIDIA的AI Enterprise套件,這是一系列AI工具和框架的集合,包括TensorFlow、PyTorch、NVIDIARAPIDS與TensorRT軟件庫(kù),以及Triton推理服務(wù)器等??蛻暨€可以獲得HPE的Cray編程環(huán)境,這是一套用于代碼開(kāi)發(fā)、移植和調(diào)試的工具組合。
Hotard表示,AI訓(xùn)練是目前計(jì)算密度最大的工作負(fù)載之一,因此對(duì)計(jì)算架構(gòu)的要求也比較特殊。
“我們都知道,云架構(gòu)是圍繞單一服務(wù)器資源的最大化利用設(shè)計(jì)而成的。因此在面對(duì)工作負(fù)載時(shí),這類(lèi)方案傾向于將任務(wù)拆分成一個(gè)個(gè)較小的部分。”
“但AI工作負(fù)載,特別是訓(xùn)練和大規(guī)模微調(diào)類(lèi)負(fù)載,則有著截然不同的特性。在某些情況下,這些工作負(fù)載需要將整座數(shù)據(jù)中心視為單一計(jì)算機(jī)來(lái)運(yùn)行。AI工作負(fù)載需要運(yùn)行在幾百甚至數(shù)千個(gè)節(jié)點(diǎn)之上,并要求所有計(jì)算、互連和存儲(chǔ)資源都要像在超級(jí)計(jì)算機(jī)內(nèi)那樣高度一致地規(guī)?;\(yùn)行。”
當(dāng)然,這套新系統(tǒng)的服務(wù)對(duì)象僅限那些掌握充足財(cái)務(wù)預(yù)算的組織,不過(guò)HPE目前拒絕透露關(guān)于成本的具體信息。Hotard表示價(jià)格將在不久之后對(duì)外公布。
NVIDIA科學(xué)項(xiàng)目經(jīng)理Jack Wells宣稱(chēng),基準(zhǔn)測(cè)試結(jié)果顯示,在使用Llama 2處理大語(yǔ)言模型(LLM)推理工作負(fù)載時(shí),基于GH200的單一節(jié)點(diǎn)比雙至強(qiáng)CPU服務(wù)器快100倍。
他聲稱(chēng),“生成式AI正在重構(gòu)科學(xué)計(jì)算思路,并帶動(dòng)起極為巨大的市場(chǎng)需求。”他同時(shí)強(qiáng)調(diào),HPE與NVIDIA的這款產(chǎn)品已經(jīng)吸引到多家客戶。
其中包括蘇黎世聯(lián)邦理工學(xué)院的超級(jí)計(jì)算機(jī)、波蘭Cyfronet、洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室,以及布里斯托大學(xué)的Isambard-AI系統(tǒng)(計(jì)劃部署5448塊NVIDIAGH200超級(jí)芯片)。
HPE表示,該服務(wù)將從12月登陸30多個(gè)國(guó)家的市場(chǎng)。除了來(lái)自公共部門(mén)和研究機(jī)構(gòu)的AI創(chuàng)新中心客戶之外,該項(xiàng)目預(yù)計(jì)還將吸引到不少企業(yè)巨頭的關(guān)注。