中科院計算所與寒武紀公司提出了國際上首個稀疏深度學習處理器Cambricon-X,相關工作于近日被計算機體系結構領域頂級國際會議MICRO 2016(International Symposium on Microarchitecture)接收。該處理器由中國科大少年班陳云霽、陳天石兄弟開創(chuàng)。
深度學習是一類借鑒生物的多層神經網絡處理模式所發(fā)展起來的智能處理技術。基于深度學習的圍棋程序AlphaGo甚至已經達到了職業(yè)棋手的水平。稀疏深度學習可大幅度削減神經網絡中連接數(shù)量,因此被業(yè)界廣泛采用。但其計算和訪存模式非常不規(guī)則,給相應的芯片設計帶來了巨大的挑戰(zhàn)。寒武紀團隊針對稀疏深度神經網絡特殊的計算模式和訪存特性,提出采用一維稀疏表示、專用的數(shù)據(jù)訪問引擎和動態(tài)計算調度策略來實現(xiàn)稀疏深度學習的專用處理器Cambricon-X,能高效處理各種類型的稀疏深度神經網絡(包括卷積神經網絡和遞歸神經網絡等)。在TSMC 65nm工藝下,Cambricon-X峰值性能可達0.5Tops/s,面積開銷僅為6.38平方毫米,稀疏深度學習速度相較于主流高端GPU提升性能10倍,能耗僅為其3.4%。相關工作已于2016年1月申請國內和PCT專利,此后UCSB也參與了Cambricon-X的進一步學術探索。
此前,中科院計算所提出了國際上首個深度學習處理器結構(與法國Inria合作完成)、國際上首個多核深度學習處理器結構(與法國Inria合作完成),研制了國際上首個深度學習處理器芯片,提出了國際上首個深度學習指令集,多次獲得計算機體系結構頂級會議最佳論文獎。Cambricon-X的工作進一步夯實了中科院與寒武紀在深度學習處理器領域的國際領導性地位。
背景介紹:MICRO與ISCA、ASPLOS和HPCA并稱計算機體系結構領域最頂級的四大國際學術會議。自2014年中科院計算所的陳云霽博士(寒武紀公司首席科學家,中國科大97少)、陳天石博士(寒武紀公司創(chuàng)始人和CEO,中國科大01少)與法國Inria的Olivier Temam博士(現(xiàn)供職于Google)在ASPLOS 2014共同開創(chuàng)了深度學習處理器方向之后,深度學習處理器已經成為MICRO、ISCA、ASPLOS和HPCA最關注的研究方向之一。MICRO 2016上有超過1/7的論文引用寒武紀團隊成員的工作來進行智能處理器的探索(分別來自包括Intel、NVIDIA、佐治亞理工、UCSB等頂尖研究機構)。