《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 電子元件 > 業(yè)界動(dòng)態(tài) > 燧原科技亮相Hot Chips大會(huì),詳解邃思芯片架構(gòu)

燧原科技亮相Hot Chips大會(huì),詳解邃思芯片架構(gòu)

2021-08-26
來源:燧原科技
關(guān)鍵詞: 燧原科技 邃思芯片

  2021年8月25日,中國(guó)上?!裉?a class="innerlink" href="http://ihrv.cn/tags/燧原科技" target="_blank">燧原科技在一年一度的Hot Chips大會(huì)上由首席架構(gòu)師劉彥和資深芯片設(shè)計(jì)總監(jiān)馮闖一起介紹了第一代云端訓(xùn)練芯片“邃思1.0”的架構(gòu)細(xì)節(jié)。Hot Chips是全球高性能微處理器和集成電路相關(guān)的重要會(huì)議之一,芯片行業(yè)巨頭每年都借此機(jī)會(huì)展示自己公司的最新成果,包括處理器體系結(jié)構(gòu),基礎(chǔ)架構(gòu)計(jì)算平臺(tái),內(nèi)存處理等各類技術(shù)。

微信截圖_20210826112501.png

  燧原科技第一代通用人工智能訓(xùn)練芯片“邃思1.0”封裝示意圖

  邃思1.0是燧原科技2019年12月發(fā)布的第一代云端AI訓(xùn)練芯片,采用眾核結(jié)構(gòu),其計(jì)算核心采用了燧原科技自研的GCU-CARE計(jì)算引擎。整個(gè)SOC擁有32個(gè)GCU-CARE計(jì)算引擎,組成4個(gè)計(jì)算群組,全面支持常見AI張量數(shù)據(jù)格式(FP32/FP16/BF16, INT8/INT16/INT32),更全面地支撐客戶業(yè)務(wù)。CARE還創(chuàng)新地通過復(fù)用張量核心,用最有效的晶體管效率提供了標(biāo)量、向量、張量以及多種數(shù)據(jù)精度的計(jì)算能力。

  GCU-DARE數(shù)據(jù)架構(gòu),面向數(shù)據(jù)流優(yōu)化,在數(shù)據(jù)流動(dòng)中進(jìn)行處理。512GB/s的HBM和200GB/s的GCU-LARE互聯(lián),數(shù)倍于傳統(tǒng)GPU、CPU;強(qiáng)勁的分布式片上共享緩存,提供10TB/s的超大帶寬;可編程共享緩存,可控線程內(nèi)、線程間數(shù)據(jù)常駐共享,消除不必要的IO訪問,既降低了數(shù)據(jù)訪問延時(shí),又節(jié)約了寶貴的IO帶寬;同時(shí),DARE架構(gòu)還提供數(shù)據(jù)異步加載接口,支持?jǐn)?shù)據(jù)與運(yùn)算的流水執(zhí)行,提高運(yùn)算并行度。

  四路 GCU-LARE智能互聯(lián),200GB/s的高速低延時(shí)片間互聯(lián)接口,靈活支持不同規(guī)模的計(jì)算需求,可支持千卡級(jí)規(guī)模集群,為大中小型數(shù)據(jù)中心提供基于不同需求的人工智能訓(xùn)練產(chǎn)品組合。

微信截圖_20210826112519.png

  “邃思1.0”SOC

  邃思1.0人工智能加速芯片專為云端訓(xùn)練場(chǎng)景設(shè)計(jì),支持CNN、RNN、LSTM、BERT等常用人工訓(xùn)練模型,可用于圖像、流數(shù)據(jù)、語音等訓(xùn)練場(chǎng)景。采用標(biāo)準(zhǔn)PCIe 4.0接口,廣泛兼容主流AI服務(wù)器,可滿足數(shù)據(jù)中心大規(guī)模部署的需求,且能效比領(lǐng)先。

  演講的最后部分,劉彥還介紹了上個(gè)月剛剛在世界人工智能大會(huì)上發(fā)布的“邃思2.0”訓(xùn)練芯片。經(jīng)過全新升級(jí)迭代后,邃思2.0的計(jì)算能力、存儲(chǔ)和帶寬、互聯(lián)能力較第一代訓(xùn)練產(chǎn)品有巨大提升,對(duì)超大規(guī)模的模型支持能力獲得顯著增強(qiáng)。由此,燧原科技成為國(guó)內(nèi)首家發(fā)布第二代人工智能訓(xùn)練產(chǎn)品組合的公司。

  邃思2.0進(jìn)行了大規(guī)模的架構(gòu)升級(jí),針對(duì)人工智能計(jì)算的特性進(jìn)行深度優(yōu)化,夯實(shí)了支持通用異構(gòu)計(jì)算的基礎(chǔ);支持全面的計(jì)算精度,涵蓋從FP32、TF32、FP16、BF16到INT8,單精度FP32峰值算力達(dá)到40 TFLOPS,單精度張量TF32峰值算力達(dá)到160 TFLOPS。同時(shí)搭載了4顆HBM2E片上存儲(chǔ)芯片,高配支持64 GB內(nèi)存,帶寬達(dá)1.8 TB/s。GCU-LARE也全面升級(jí),提供雙向300 GB/s互聯(lián)帶寬,支持?jǐn)?shù)千張?jiān)旗軨loudBlazer加速卡互聯(lián),實(shí)現(xiàn)優(yōu)異的線性加速比。

微信截圖_20210826112554.png

  燧原科技第二代通用人工智能訓(xùn)練芯片“邃思2.0”

  而同步升級(jí)的馭算TopsRider軟件平臺(tái),成為燧原科技構(gòu)建原始創(chuàng)新軟件生態(tài)的基石。通過軟硬件協(xié)同架構(gòu)設(shè)計(jì),充分發(fā)揮邃思2.0的性能;基于算子泛化技術(shù)及圖優(yōu)化策略,支持主流深度學(xué)習(xí)框架下的各類模型訓(xùn)練;利用Horovod分布式訓(xùn)練框架與GCU-LARE互聯(lián)技術(shù)相互配合,為超大規(guī)模集群的高效運(yùn)行提供解決方案。開放升級(jí)的編程模型和可擴(kuò)展的算子接口,為客戶模型的優(yōu)化提供了自定義的開發(fā)能力。




微信圖片_20210517164139.jpg


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請(qǐng)及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。