在近日舉行的AWS re:Invent 2020（亞馬遜 re:Invent 2020）大會上，AWS首席執(zhí)行官Andy Jassy宣布了采用最多8個Habana? Gaudi?加速器的EC2實例。對于機器學(xué)習(xí)工作負載，這些全新EC2實例的性價比相較目前基于GPU的EC2實例提升高達40%。Gaudi加速器專為訓(xùn)練深度學(xué)習(xí)模型而設(shè)計，適用于自然語言處理、對象檢測和機器學(xué)習(xí)訓(xùn)練、分類、推薦以及個性化等工作負載。據(jù)介紹，基于Gaudi?的EC2實例計劃于2021年上半年提供使用。
△圖中顯示為Habana Labs的HL-205 Gaudi夾層卡?；贕audi的EC2實例可提供卓越的成本效益和高性能，且同時原生支持TensorFlow、 PyTorch等通用框架。（圖片來源：Habana Labs）
在主題大會上，AWS首席執(zhí)行官Andy Jassy強調(diào)了各行業(yè)對高性能、更實惠的人工智能工作的巨大需求。隨著公司計劃引入以Gaudi為特色的新EC2實例進行深度學(xué)習(xí)訓(xùn)練，AWS將進一步降低AI數(shù)據(jù)集的訓(xùn)練成本，并降低希望利用AI提供業(yè)務(wù)分析、改善效率和增強用戶體驗的客戶的運營總成本。
8卡的Gaudi 解決方案可以在TensorFlow上每秒處理12000張圖像訓(xùn)練ResNet-50模型。每個Gaudi處理器集成了32GB的HBM2內(nèi)存，并集成了用于服務(wù)器內(nèi)部處理器互聯(lián)的RoCE功能。憑借AWS彈性架構(gòu)適配器（EFA）的技術(shù)可以跨服務(wù)器擴展，從而允許AWS及其客戶無縫地擴展使用多個基于Gaudi的系統(tǒng)以實現(xiàn)高效和可擴展的分布式訓(xùn)練。
Habana的SynapseAI軟件套件專為在Habana Gaudi處理器上提供高性能的深度學(xué)習(xí)訓(xùn)練，SynapseAI與TensorFlow和Pythorch等流行的深度學(xué)習(xí)框架集成，對Gaudi進行了優(yōu)化。開發(fā)人員將可以獲取開放的Gaudi軟件、參考模型和文檔。參考模型將在Habana的GitHub知識庫中公開發(fā)布，并將包括各種流行的模型，如圖像分類、對象檢測、自然語言處理和推薦系統(tǒng)。SynapseAI軟件套件包括Habana的圖形編譯器和實時Tensor Processor Core （TPC）內(nèi)核庫、固件和驅(qū)動程序，以及用于定制內(nèi)核開發(fā)的TPC SDK和SynapseAI Profiler等開發(fā)工具。
英特爾公司旗下Habana Labs首席執(zhí)行官David Dahan表示：“我們?yōu)锳WS選擇Habana Gaudi處理器用于其即將推出的EC2訓(xùn)練實例感到自豪。Habana團隊期待繼續(xù)與AWS展開合作，為客戶持續(xù)提供確保連續(xù)性及先進性的產(chǎn)品路線圖?！?/p>
重要性：作為全球領(lǐng)先的云服務(wù)提供商，AWS被全球各地的開發(fā)者用于訓(xùn)練其人工智能模型。然而，機器學(xué)習(xí)模型復(fù)雜程度的增加推升了訓(xùn)練所需的時間和成本，特別是在越來越多的數(shù)據(jù)可用、且開發(fā)者尋求改進其模型的情況下。基于Gaudi的EC2實例旨在通過交付高成本效益及高性能，并同時原生支持TensorFlow和PyTorch等通用框架，來滿足這些需求。借助Habana的SynapseAI軟件套件，開發(fā)者將能夠輕松地構(gòu)建新的訓(xùn)練模型或?qū)F(xiàn)有訓(xùn)練模型從GPU移植到Gaudi加速器。
英特爾的人工智能和XPU愿景：英特爾在2019年收購了Habana，并借此推進其人工智能戰(zhàn)略，加強其面向云和數(shù)據(jù)中心的人工智能加速器產(chǎn)品組合。這包含一系列支持商業(yè)、社會及科研領(lǐng)域最具前景的人工智能應(yīng)用場景的產(chǎn)品和技術(shù)。這也體現(xiàn)了公司面向提供全面的跨CPU、GPU、FPGA等的XPU架構(gòu)并以此幫助客戶和整個生態(tài)系統(tǒng)釋放數(shù)據(jù)潛能的轉(zhuǎn)型。
英特爾數(shù)據(jù)平臺事業(yè)部首席戰(zhàn)略官Remi El-Ouazzane表示：“我們的產(chǎn)品組合反應(yīng)了人工智能并非是能用一種解決方案來滿足所有場景的計算挑戰(zhàn)。云服務(wù)提供商目前已廣泛采用了內(nèi)置人工智能性能的英特爾？至強？處理器來應(yīng)對人工智能推理工作負載。通過Habana，我們現(xiàn)在得以幫助他們降低人工智能模型的大規(guī)模訓(xùn)練成本，在高增長的市場機遇中提供極富競爭力的替代選擇。”
資料顯示，Habana Labs公司總部位于以色列，是一家為數(shù)據(jù)中心提供可編程深度學(xué)習(xí)加速器的廠商。美國當?shù)貢r間2019年12月16日，英特爾公司宣布以20億美元收購了Habana Labs，旨在將增強英特爾的人工智能產(chǎn)品組合，并加快其在快速增長的人工智能芯片新興市場的發(fā)展。