《電子技術應用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > Meta新建兩座數(shù)據(jù)中心集群專門訓練Llama3

Meta新建兩座數(shù)據(jù)中心集群專門訓練Llama3

內含超4.9萬塊英偉達H100 GPU
2024-03-14
來源:IT之家

Meta 公司當?shù)貢r間 12 日通過官方新聞稿公布了兩座新的數(shù)據(jù)中心集群,該公司正希望通過英偉達的 GPU,在以 AI 為重點的開發(fā)中脫穎而出。

據(jù)悉,這兩座數(shù)據(jù)中心的唯一目的,是在消費者特定應用領域(注:包含聲音或圖像識別)中進行 AI 研究和大語言模型的開發(fā),每個集群都包含了 24576 塊英偉達 H100 AI GPU,將用于自家大語言模型 Llama 3 的訓練。

1.png

兩座新建的數(shù)據(jù)中心集群都具有 400Gbps 互聯(lián)功能,其中一個集群采用了 Meta 基于 Arista 7800 自主開發(fā)的 Fabric 解決方案,而另一個集群則采用了英偉達的 Quantum2 InfiniBand Fabric,以確保無縫互連體驗。

此外,集群基于 Meta 自家的開放式 GPU Grand Teton AI 平臺,可通過提高主機到 GPU 的帶寬和計算能力,充分利用現(xiàn)代加速器的功能。

Meta 官方表示,這些集群的高性能網(wǎng)絡結構的效率及關鍵存儲決策、配合每個集群中的 H100 GPU,能夠為更大、更復雜的模型提供支持,為通用人工智能產(chǎn)品開發(fā)、AI 研究的進步鋪路。

據(jù)IT之家1 月報道,Meta 首席執(zhí)行官扎克伯格宣布公司正在建設龐大的基礎設施?!邦A估到今年年底,我們將擁有大約 35 萬片英偉達 H100 加速卡,如果算上其它 GPU 的話,其計算能力相當于 60 萬片 H100。”


weidian.jpg

本站內容除特別聲明的原創(chuàng)文章之外,轉載內容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內容無法一一聯(lián)系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。