近幾年,FPGA由于具有可編程的靈活性,大受AI設(shè)計(jì)公司的青睞。目前,F(xiàn)PGA在AI芯片行業(yè)呈現(xiàn)出兩種發(fā)展趨勢,一個(gè)是在FPGA的基礎(chǔ)上推出優(yōu)化架構(gòu),二個(gè)是最大化程度挖掘FPGA的使用范圍,甚至從FPGA轉(zhuǎn)向?qū)S枚ㄖ菩酒珹SIC。Semico Research數(shù)據(jù)顯示,F(xiàn)PGA在過去幾年的CAGR保持在8-10%左右,未來五年隨著FPGA在AI應(yīng)用中的擴(kuò)張,CAGR將高達(dá)38.4%。為了保持自身競爭力,全球有25%的企業(yè)使用了人工智能或機(jī)器學(xué)習(xí),兩年內(nèi)這一比例將增長到72%,Semico Research預(yù)計(jì)在4年內(nèi),應(yīng)用于人工智能的FPGA市場規(guī)模將增長3倍,達(dá)到52億美元。
但是人工智能算法仍在不斷演進(jìn),數(shù)值精度選擇呈多樣性,計(jì)算引擎要具有可編程性、更高效;內(nèi)存層次結(jié)構(gòu)需要更高帶寬,實(shí)現(xiàn)內(nèi)部和外部記憶;數(shù)據(jù)移動(dòng)需要消除擁堵點(diǎn),實(shí)現(xiàn)FPGA架構(gòu)中的ASIC性能。設(shè)計(jì)者需要利用FPGA架構(gòu)實(shí)現(xiàn)最佳功耗、性能和靈活性,打破降低效率的歷史瓶頸。
Achronix公司董事長兼首席執(zhí)行官Robert Blake
為了滿足人工智能/機(jī)器學(xué)習(xí)(AI/ML)和高帶寬數(shù)據(jù)加速應(yīng)用日益增長的需求,Achronix推出了Speedster7t FPGA系列產(chǎn)品。Achronix公司董事長兼首席執(zhí)行官Robert Blake介紹,“AI處理的數(shù)據(jù)量非常大,要讓數(shù)據(jù)高效地傳輸?shù)讲煌牟糠?,需要考慮三個(gè)因素:高效計(jì)算力、高效大寬帶的數(shù)據(jù)運(yùn)算能力、高效豐富存儲緩存能力。Speedster7t系列是基于一種高度優(yōu)化的全新架構(gòu),以其所具有的如同ASIC一樣的性能、可簡化設(shè)計(jì)的FPGA靈活性和增強(qiáng)功能,從而遠(yuǎn)遠(yuǎn)超越傳統(tǒng)的FPGA解決方案。通過將FPGA的可編程性與ASIC的布線結(jié)構(gòu)和計(jì)算引擎完美地結(jié)合在一起,Speedster7t系列產(chǎn)品創(chuàng)造了一類全新的‘FPGA +’技術(shù)”
一種新型技術(shù)FPGA+:FPGA與ASIC技術(shù)的融合
重新設(shè)計(jì)整個(gè)FPGA架構(gòu)
在開發(fā)Speedster7t系列FPGA的產(chǎn)品過程中,Achronix的工程團(tuán)隊(duì)完全重新構(gòu)想了整個(gè)FPGA架構(gòu),以平衡片上處理、互連和外部輸入輸出接口(I / O),以實(shí)現(xiàn)數(shù)據(jù)密集型應(yīng)用吞吐量的最大化,可以應(yīng)用于基于邊緣和基于服務(wù)器的AI / ML應(yīng)用、網(wǎng)絡(luò)處理和存儲。
在制造工藝方面,Speedster7t器件采用了TSMC的7nm FinFET工藝制造,是專為接收來自多個(gè)高速來源的大量數(shù)據(jù)而設(shè)計(jì),同時(shí)還需要將那些數(shù)據(jù)分發(fā)到可編程片上算法性和處理性單元中,然后以盡可能低的延遲來提供那些結(jié)果。
Speedster7t系列產(chǎn)品包括高帶寬GDDR6接口、400G以太網(wǎng)端口和PCI Express Gen5等接口,所有這一切單元都互相連接以提供ASIC級帶寬,同時(shí)保留FPGA的完全可編程性。Robert Blake強(qiáng)調(diào),“我們是唯一一家支持GDDR6的模塊高帶寬存儲方案的FPGA公司。每個(gè)GDDR6存儲控制器都能夠支持512 Gbps的帶寬,Speedster7t器件中有多達(dá)8個(gè)GDDR6控制器,可以支持4 Tbps的GDDR6累加帶寬,并且以很小的成本就可提供與基于HBM的FPGA等效存儲帶寬?!?/p>
Achronix為什么選擇GDDR6?Robert Blake解釋,“目前只有兩個(gè)方案:HBM2和GDDR6?,F(xiàn)在HBM2和GDDR6性能差不多,HBM2成本太貴,而且靈活性差,我們采用GDDR6比采用HBM2成本降低一半。”
Speedster7t系列產(chǎn)品可以打破FPGA的瓶頸問題,提供最高的FPGA計(jì)算密度、最高帶寬數(shù)據(jù)傳輸、高帶寬和低成本的存儲器接口,主要得益于兩點(diǎn)創(chuàng)新:二維片上網(wǎng)絡(luò)(2D NoC)和機(jī)器學(xué)習(xí)處理器(MLP)模塊陣列。
二維片上網(wǎng)絡(luò)(2D NoC)
傳統(tǒng)FPGA加速數(shù)據(jù)會將數(shù)據(jù)傳輸?shù)酵饷妫枰季€單元來做,性能受到限制,而Speedster7t建設(shè)了很多高速通道,即二維片上網(wǎng)絡(luò)(NOC),其可以橫跨和垂直跨越FPGA邏輯陣列,連接到所有FPGA的高速數(shù)據(jù)和存儲器接口,利用這些高速通道將數(shù)據(jù)從一端傳輸?shù)搅硗庖欢恕?/p>
高帶寬片上網(wǎng)絡(luò)
Robert Blake解釋,“它們就像疊加在FPGA互連這個(gè)城市街道系統(tǒng)上的空中高速公路網(wǎng)絡(luò)一樣,Speedster7t的NoC支持片上處理引擎之間所需的高帶寬通信。NoC中的每一行或每一列都可作為兩個(gè)256位實(shí)現(xiàn),單向的、行業(yè)標(biāo)準(zhǔn)的AXI通道,工作頻率為2Ghz,同時(shí)可為每個(gè)方向提供512 Gbps的數(shù)據(jù)流量?!?/p>
通過在Speedster中實(shí)現(xiàn)專用二維 NoC, 極大地簡化了高速數(shù)據(jù)移動(dòng),并確保數(shù)據(jù)流可以輕松地定向到整個(gè)FPGA結(jié)構(gòu)中的任何自定義處理引擎。最重要的是,NOC消除了傳統(tǒng)FPGA使用可編程路由和邏輯查找表資源在整個(gè)FPGA中移動(dòng)數(shù)據(jù)流中出現(xiàn)的擁塞和性能瓶頸。這種高性能網(wǎng)絡(luò)不僅可以提高Speedster7t FPGA的總帶寬容量,還可以在降低功耗的同時(shí)提高有效LUT容量。
Robert Blake也表示,“二維NOC都是用ASIC來做的,客戶采用我們的FPGA,如果后期需要做ASIC,不需要花費(fèi)更多的時(shí)間,可以將小部分可編程IP集成到ASIC中。現(xiàn)在最流行的AI技術(shù)硬件方法有GPU、CPU和ASIC,如果算法固定有可能用AISC實(shí)現(xiàn),這一市場一直在增長,三種技術(shù)各自都有自己的優(yōu)勢。”
機(jī)器學(xué)習(xí)處理器(MLP)模塊陣列
傳統(tǒng)上,使用DSP模塊進(jìn)行AI / ML訓(xùn)練,所支持的精度不夠,構(gòu)建AI/ML應(yīng)用程序,需要消耗額外邏輯和存儲資源,性能收到限制。Speedster7t FPGA的核心是其全新機(jī)器學(xué)習(xí)處理器(MLP)中大規(guī)模的可編程計(jì)算單元平行陣列,它們可提供業(yè)界最高的、基于FPGA的計(jì)算密度。MLP是高度可配置的、計(jì)算密集型的單元模塊,可支持4到24位的整點(diǎn)格式和高效的浮點(diǎn)模式,包括對TensorFlow的16位格式的支持,以及可使每個(gè)MLP的計(jì)算引擎加倍的增壓塊浮點(diǎn)格式的直接支持。
MLP與嵌入式存儲器模塊緊密相鄰,通過消除傳統(tǒng)設(shè)計(jì)中與FPGA布線相關(guān)的延遲,來確保以750 MHz的最高性能將數(shù)據(jù)傳送到MLP。這種高密度計(jì)算和高性能數(shù)據(jù)傳輸?shù)慕Y(jié)合使得處理器邏輯陣列能夠提供基于FPGA的最高可用計(jì)算能力以每秒萬億次運(yùn)算數(shù)量為單位(TOPS,Tera-Operations Per Second)。
Robert Blake表示,“Achronix除了為客戶提供FPGA產(chǎn)品,還可以進(jìn)行eFPGA IP授權(quán),支持從Speedster7t FPGA到ASIC的無縫轉(zhuǎn)換。FPGA應(yīng)用通常具有必須保持可編程性的功能,而其他固定功能則是專用于特定的系統(tǒng)應(yīng)用。對于ASIC的轉(zhuǎn)換而言,固定功能可以被固化進(jìn)ASIC結(jié)構(gòu)中,從而減小芯片面積、成本和功耗。當(dāng)使用Speedcore eFPGA IP將Speedster7t FPGA轉(zhuǎn)換為ASIC時(shí),客戶有望節(jié)省高達(dá)50%的功耗并降低90%的成本?!?/p>