與谷歌、百度、阿里這樣的科技巨頭一樣，亞馬遜希望掌握自身業(yè)務(wù)的全部。在昨天拉斯維加斯舉行的 AWS re:Invent 大會上，這家公司發(fā)布了一款名為 Inferentia 的機(jī)器學(xué)習(xí)芯片。
「Inferentia 將會是一款超高吞吐量、低延遲、性能強(qiáng)大，且功耗比極佳的處理器，」AWS 首席執(zhí)行官 Andy Jassy 在發(fā)布中介紹道。
對于亞馬遜來說，這或許是必然要走的一步。來自 Constellation Research 的分析師 Holger Mueller 對此表示，亞馬遜在自研芯片上遠(yuǎn)遠(yuǎn)落后于其他巨頭，但這一步頗具意義，在未來這家公司或許會嘗試不同的機(jī)器學(xué)習(xí)方法。
Inferentia 支持 INT8、FP16 等流行框架以及混合精度。此外，它也支持 TensorFlow、Caffe2 和 ONNX 等機(jī)器學(xué)習(xí)框架。
當(dāng)然，作為亞馬遜的產(chǎn)品，它也支持處理 AWS 產(chǎn)品中的數(shù)據(jù)，例如 EC2、SageMaker，以及今天公布的 Elastic 推理引擎。這款產(chǎn)品專為推理而設(shè)計(jì)，這方面與專為訓(xùn)練機(jī)器學(xué)習(xí)模型設(shè)計(jì)的谷歌 TPU 不同。Jassy 表示，目前為機(jī)器學(xué)習(xí)計(jì)算設(shè)計(jì)加速器的芯片公司——如其中最大的英偉達(dá)——已經(jīng)投入巨大精力對于模型訓(xùn)練進(jìn)行優(yōu)化，這就是 AWS 決定專注于設(shè)計(jì)更好的推理芯片的原因。
亞馬遜稱，若在已訓(xùn)練模型的基礎(chǔ)上進(jìn)行推理任務(wù)，Inferentia 芯片可以擔(dān)負(fù) 90% 的算力。通過使用 Amazon Elastic Inference，開發(fā)者們可以通過將 GPU 驅(qū)動的推理加速功能附加到 Amazon EC2 和 Amazon SageMaker 實(shí)例上，將推理成本降低多至 75％左右。
亞馬遜 Inferentia 機(jī)器學(xué)習(xí)芯片的原型，這款芯片由 Annapurna Labs 設(shè)計(jì)。圖片來自亞馬遜副總裁、杰出工程師 James Hamilton。
與亞馬遜此前的定制 Arm 處理器 Graviton 一樣，Inferentia 是這家公司在 2015 年收購的以色列創(chuàng)業(yè)公司 Annapurna 的幫助下設(shè)計(jì)的。在 Inferentia 之前不久，亞馬遜還發(fā)布了 Graviton 芯片——這是一款基于 ARM Cortex-A72 架構(gòu)的定制化 CPU 處理器，其最高時(shí)鐘速度為 2.3GHz。
開啟科技巨頭自研機(jī)器學(xué)習(xí)芯片風(fēng)潮的公司是谷歌。2016 年，谷歌就正式發(fā)布了 TPU（其時(shí)谷歌已在內(nèi)部使用 TPU 超過一年時(shí)間了），時(shí)至今天，TPU 已經(jīng)發(fā)展到了第三代。這款產(chǎn)品的算力也已經(jīng)成為谷歌云服務(wù)的一部分，可為所有開發(fā)者提供算力支持。亞馬遜的最大競爭對手微軟 Azure 尚未推出自己的處理器。當(dāng)然，所有三家公司的機(jī)器學(xué)習(xí)云服務(wù)算力主要基于英偉達(dá) GPU。此外，AWS 和 Azure 還提供用于機(jī)器學(xué)習(xí)的 FPGA 服務(wù)。
雖然亞馬遜今天對外發(fā)布了此芯片，但 AWS CEO Andy Jassy 表示 Inferentia 在明年之前不會上線。在發(fā)布會上，亞馬遜也沒有公布有關(guān)這款芯片的更多技術(shù)細(xì)節(jié)。該公司表示，每塊 Inferentia 芯片可提供「提供數(shù)百 TOPS」的推理吞吐量...... 為獲得更高性能，可以將多個(gè) AWS Inferentia 芯片并聯(lián)實(shí)現(xiàn)數(shù)千 TOPS 的吞吐量。
目前的 AI 專用芯片在性能指標(biāo)上最為強(qiáng)大的是華為今年 10 月推出的昇騰 910，據(jù)稱其半精度（FP16）算力可達(dá) 256TFLOPS，最大功耗為 350W。
在云服務(wù)方面，亞馬遜正在成為行業(yè)領(lǐng)導(dǎo)者，而其推出的 AI 芯片與定制化 CPU，勢必更將鞏固這家公司的領(lǐng)先地位。