總部位于英國布里斯托的Graphcore公司日前推出了一款稱為智能處理單元（IPU）的新型AI加速處理器。該公司于2016年啟動風險投資計劃，并在2018年12月的最后一輪融資中募集了2億美元?；谄?7億美元的公司估值，Graphcore已成為西方半導體界的唯一“獨角獸”。它的投資者們包括戴爾、博世、寶馬、微軟和三星。
近日，Graphcore首席執(zhí)行官Nigel Toon在接受EETimes采訪時介紹了其公司愿景、AI加速器市場以及AI的未來。
Graphcore的IPU芯片已經在生產、發(fā)貨并產生收入，目前正與極少數早期客戶合作。
Graphcore目前的主要產品是一款可插入服務器的雙寬、全高300 W PCI Express卡?？敳康倪B接器可以實現卡間互連。每張Graphcore C2卡都配有兩個Colossus IPU處理器芯片。芯片本身，即IPU處理器，是迄今為止最復雜的處理器芯片：它在一個16納米芯片上有幾乎240億個晶體管，每個芯片提供125 teraFLOPS運算能力。一個標準4U機箱中可以插入8張卡，卡間通過IPU鏈路互連。8張卡上的IPU可以作為一個處理器元件工作，提供兩個petaFLOPS的運算能力。與芯片在CPU和GPU中的存在形式不同，它為機器智能提供了更高效的處理平臺。這個產品將用于云計算服務器，也極有可能用于自動駕駛汽車。
Graphcore如何應對運行深度學習軟件堆棧的挑戰(zhàn)？
在過去的三四年中出現的深度學習標準框架（如TensorFlow和PyTorch）與圖形描述符（如ONNX）一樣，可以在其中一些框架之間進行數據交換。開發(fā)人員可以根據框架快速設計神經網絡，但這些設計基本上是圖形框架，也就是說，它們描述了操作符和圖形內部元素之間連接的數學圖形。
而Graphcore從這些高級框架中獲取輸出并將其輸入到我們稱之為Poplar的軟件層，Poplar作為我們的映射和編譯工具，它采用高級框架圖形并將它們映射成為在IPU處理器上運行的完整計算圖形。每個IPU處理器都有1200個獨立的專用內核，以及機器學習所需的所有控制操作和超越函數。每個IPU內核可運行多達六個程序線程。因此，如果您有16個處理器，那么在一個4U機箱中可以運行超過100,000個獨立的并行程序。
正是這種并行處理能力實現了快速訓練模型并進行實時操控，這也使的Graphcore能夠在自然語言處理以及在理解自動駕駛視頻方面取得重大進展。因此，強大的并行處理能力非常重要。
有了Graphcore的IPU，一個完整的機器學習模型可以在處理器內部生成。而且IPU處理器具有數百兆字節(jié)的RAM，可在處理器上以超過1.6 GHz的速率全速運行，因為其中的延遲已被線程隱藏。具有高帶寬內存（HBM）等技術的GPU可以提供每秒900 GB的內存帶寬，而Graphcore的單個IPU處理器提供大約45 TB內存帶寬，因此，Graphcore可以更快地操縱模型。一個4U機箱中有16個IPU，它將使你擁有無可比擬的內存帶寬，其上運行了成千上萬的線程，而且是同時運行，而這也是Graphcore得以加速機器智能工作的部分原因。
Graphcore IPU與領先的GPU性能相比如何？
Graphcore IPU的性能與市場上領先的GPU相比如何？這取決于它完成的任務。如果用于靜態(tài)圖像分類的前饋卷積神經網絡，GPU已經可以做得很好，但IPU可以提供兩到三倍的性能優(yōu)勢，有時甚至是五倍。
對于更復雜的模型，比如那些數據通過后再反饋以嘗試理解上下文（例如，對話）的模型，由于數據被傳遞多次，所以需要非常高的速率。對于這樣的應用，因為所有的模型都保存在Graphcore的處理器中，IPU可以比GPU快很多，可能快十倍、二十倍或者五十倍。
目前，Graphcore專注于與早期介入客戶合作，幫助他們解決實際問題，但會回過頭來做一些基準測試，并且將測試結果提交給MLPerf。
基準測試的問題在于它們的保守，它們通常專注于標準的卷積神經網絡，而這個行業(yè)已經發(fā)生了很大的變化。盡管基準測試也是一種有用的相對衡量標準，但看到產品在實際應用中的真正性能也很重要。
在日新月異的發(fā)展速度之下，很難講還有什么可比性。如果采用了標準框架，那么為了進行比較在不同的系統(tǒng)上進行嘗試也非常容易。
Graphcore IPU芯片可以用于推理或培訓。從架構的角度來看這對Graphcore非常重要，因為隨著機器學習的發(fā)展，系統(tǒng)將能夠從經驗中學習。
推理性能的關鍵點包括：低延遲、適用于小型模型、小批量，以及可能會嘗試引入稀疏性的訓練模型。IPU可以有效地完成所有這些事情。在一個4U機箱中，16個IPU共同協(xié)作進行培訓，每個IPU可以運行單獨的推理任務，并由一個CPU上運行的虛擬機控制，最終得到的是一個可用于培訓的硬件。因此，一旦模型被訓練，就可以部署它，但隨著模型的發(fā)展，開始想要從經驗中學習時，就可以采用這個硬件來實現這個功能。
映射和編譯工具Poplar與CUDA有何異同？
Graphcore的映射和編譯工具Poplar雖然與CUDA處于同等地位，但它實際上是一種編程語言，而不是在較低級別描述圖形的框架。
在Poplar中，可以描述一種新型的卷積函數或一種新型的遞歸神經網絡層，然后將其作為高級框架中的庫元素。Graphcore提供完整的所有高級操作符和庫元素；同時還提供許多低級操作符，你可以簡單地將之互連以創(chuàng)建新的庫元素?；蛘?，如果您想做一些完全創(chuàng)新的事情，那么可以使用Poplar C ++環(huán)境創(chuàng)建自己的東西。
Graphcore希望大家分享他們的創(chuàng)新，而其他人則樂于接受。如果仔細看一下Google的TPU或NVIDIA的GPU，你會發(fā)現很多庫元素都是關閉的，它們是黑盒子，您無法看到它們是如何構建的。而Graphcore是開放的，人們可以修改它并擴展它。我們希望建立的是這樣一個開放的社區(qū)。
相比谷歌、百度及FB等公司，Graphcore的競爭優(yōu)勢？
Graphcore正日益面臨這個領域的一些強大對手，如谷歌、百度、Nvidia、英特爾以及數據中心巨頭Facebook和阿里巴巴，據傳他們也正在開發(fā)自己的芯片。Graphcore將會如何與這些公司競爭？如果數據中心公司開發(fā)自己的AI加速器，那這個市場的競爭還會存在嗎？
Graphcore認為將會有三個主要市場。
首先是一個相當簡單的小型加速器市場，通常應用于移動電話的IP內核，一些大型手機制造商已經在做這方面的工作。但Graphcore沒有參與這個市場。ASIC設備很有市場前景。舉例來說，一個擁有大量用戶的具有非常特定工作量的公司，或許他們運營著一個龐大的社交網絡，他們可以創(chuàng)建一個非常具體的功能并將其構建到一個芯片中，然后將其部署到數據中心以提高這一功能的效率。這類ASIC解決方案擁有巨大的市場，但是，Graphcore并沒有參與。
Graphcore所做的是一個通用處理器，您可以通過編程以驚人的效率來做許多不同的事情。如果應用于云計算環(huán)境，這項技術可以非常輕松地解決問題，它功能多樣，易于編程，提供極為有效的結果，Graphcore相信這是一項致勝的技術。
采用專用ASIC芯片的事實幾乎已經證明了GPU的弱點。人們需要一種更高效、易于使用的為機器智能而設計的處理器，而這正是Graphcore所做的。Graphcore認為通用IPU有機會形成截至目前最大的細分市場。通過為上述所有問題提供更加高效的解決方案，相信可以引領該領域的行業(yè)標準。
如果只是針對基本的前饋卷積神經網絡，GPU是一個非常好的解決方案，但隨著網絡變得越來越復雜，人們需要一個新的解決方案，這就是ASIC和FPGA產生的原因。我們接觸過的所有創(chuàng)新者都說使用GPU正在阻礙他們創(chuàng)新。如果仔細看一下他們正在研究的模型類型，你會發(fā)現他們主要研究卷積神經網絡的形式，因為遞歸神經網絡和其他類型的結構，例如強化學習，并不能很好地映射到GPU。由于沒有足夠良好的硬件平臺，研究領域受到限制，而這正是我們將IPU推向市場的原因。
Graphcore會面向企業(yè)市場嗎？企業(yè)市場很有意思，尤其是在企業(yè)界有很多公司正在嘗試進行真正的深度學習，Graphcore對這個市場深感興趣并專注于此。問題是，Graphcore如何接觸這類客戶？他們遍布全球，并處于不同的垂直市場。對于初創(chuàng)公司而言，這是一個難以進入的市場?？梢哉fGraphcore的策略比較狡猾，他們與戴爾建立了密切的關系。戴爾是Graphcore公司的投資者，通過與他們合作，Graphcore順利地進入市場，并通過多種不同形式將我們的技術交付給客戶，例如，Graphcore的產品可能是4U全能IPU服務器，也可能是內置單個IPU PCI卡的工作站。有很多不同的選擇來抓住這個市場，而Graphcore得到并利用了這個機會。
Graphcore成為西方半導體界的唯一獨角獸。擁有如此高的估值，對公司來說是好事，因為它是對公司業(yè)務的很好驗證，讓Graphcore可以籌集大量資金，他們現在擁有令人難以置信的快速增長的火力，對于一個新興市場來說這很重要。這種快速增長在未來的兩三年內都將持續(xù)，Graphcore將在這段時間極速奔跑以成為領先者。