在近日舉辦的re：Invent開發(fā)人員大會(huì)上，AWS宣布推出全新的AI訓(xùn)練芯片AWS Trainium，這是該公司用于訓(xùn)練機(jī)器學(xué)習(xí)模型的下一代定制芯片。該公司承諾，通過對(duì)TensorFlow，PyTorch和MXNet的支持，它可以提供比云中任何競爭對(duì)手更高的性能。
據(jù)亞馬遜方面介紹，AWS Trainium是由AWS設(shè)計(jì)的第二個(gè)定制的 機(jī)器學(xué)習(xí)（ML）芯片，為在云中訓(xùn)練ML模型提供最佳的性價(jià)比。除了提供最具成本效益的ML訓(xùn)練外，Trainium還為云中的ML提供了最高的性能和最大的萬億次運(yùn)算（TFLOPS）計(jì)算能力，并支持更廣泛的ML應(yīng)用。
從他們提供的數(shù)據(jù)可以看到，亞馬遜新芯片與標(biāo)準(zhǔn)的AWS GPU實(shí)例相比，帶來了30％的吞吐量提升，并將每次使用成本降低了45%。
亞馬遜指出，Trainium芯片專門針對(duì)深度學(xué)習(xí)培訓(xùn)工作負(fù)載進(jìn)行了優(yōu)化，適用于圖像分類，語義搜索，翻譯，語音識(shí)別，自然語言處理和推薦引擎等應(yīng)用。
按照亞馬遜的說法，隨著ML的使用加速，我們迫切需要通過推理和訓(xùn)練來提高性能并降低基礎(chǔ)架構(gòu)成本。去年，AWS推出了AWS Inferentia，這是一種定制芯片，可為客戶提供云中最低成本的高性能ML推理。雖然Inferentia解決了推理成本，即使該成本占ML基礎(chǔ)架構(gòu)成本的90％，但許多開發(fā)團(tuán)隊(duì)也還受到固定ML訓(xùn)練預(yù)算的限制。這限制了改進(jìn)模型和應(yīng)用程序所需的培訓(xùn)范圍和頻率。AWS Trainium通過為云中的ML培訓(xùn)提供最高的性能和最低的成本來應(yīng)對(duì)這一挑戰(zhàn)。借助Trainium和Inferentia，客戶將擁有從擴(kuò)展培訓(xùn)工作量到部署加速推理的ML計(jì)算的端到端流程。
亞馬遜進(jìn)一步指出，AWS Trainium與AWS Inferentia共享相同的AWS神經(jīng)元SDK，這就方便Inferentia開發(fā)人員開始使用Trainium。由于Neuron SDK已與包括TensorFlow，PyTorch和MXNet在內(nèi)的流行ML框架集成在一起，因此開發(fā)人員可以通過最少的代碼更改輕松地從基于GPU的實(shí)例遷移到AWS Trainium。
據(jù)介紹，AWS Trainium可通過Amazon EC2實(shí)例和AWS Deep Learning AMI以及包括Amazon SageMaker，Amazon ECS，EKS和AWS Batch在內(nèi)的托管服務(wù)使用。
因?yàn)闆]有基準(zhǔn)測試結(jié)果，所以我們尚不清楚Trainium的性能在與Google的張量處理單元（TPU）進(jìn)行比較時(shí)，誰更厲害。后者是Google托管在Google Cloud Platform中的AI訓(xùn)練工作負(fù)載的芯片。谷歌表示，即將推出的第四代TPU提供的矩陣乘法萬億次運(yùn)算能力是第三代TPU的兩倍以上。（矩陣通常用于表示輸入到AI模型的數(shù)據(jù)。）它還提供了“顯著”的內(nèi)存帶寬提升，同時(shí)受益于互連技術(shù)的進(jìn)步。
過去，機(jī)器學(xué)習(xí)的部署受到算法的大小和速度以及對(duì)昂貴硬件的需求的限制。實(shí)際上， 麻省理工學(xué)院的一份報(bào)告發(fā)現(xiàn)，機(jī)器學(xué)習(xí)可能正在接近計(jì)算極限。一項(xiàng)單獨(dú)的Synced 研究估計(jì)，華盛頓大學(xué)的Grover假新聞檢測模型在大約兩周內(nèi)花費(fèi)了25,000美元進(jìn)行訓(xùn)練。據(jù)報(bào)道，OpenAI花費(fèi)了高達(dá)1200萬美元來訓(xùn)練其GPT-3語言模型，而Google估計(jì)花費(fèi)了6,912美元來訓(xùn)練BERT，這是一種雙向轉(zhuǎn)換器模型，可為11種自然語言處理任務(wù)重新定義最先進(jìn)的技術(shù)。
隨著企業(yè)需求的增長，Amazon越來越傾向于轉(zhuǎn)向AI和機(jī)器學(xué)習(xí)訓(xùn)練以及推理服務(wù)。根據(jù)一項(xiàng)估計(jì)，2017年全球機(jī)器學(xué)習(xí)市場的價(jià)值為15.8億美元，預(yù)計(jì)到2024年將達(dá)到208.3億美元。11月，亞馬遜宣布將Alexa和Rekognition的部分計(jì)算轉(zhuǎn)移到Inferentia支持的實(shí)例上，旨在使工作更快，更便宜，同時(shí)將其從Nvidia芯片上移開。當(dāng)時(shí)，該公司聲稱將部分Alexa工作轉(zhuǎn)移到Inferentia，從而使延遲時(shí)間縮短了25％，而成本卻降低了30％。