最近在學(xué)習(xí)RISCV相關(guān)的東西，發(fā)現(xiàn)了Berkeley一個很有意思的項(xiàng)目：HWACHA。這是一個使用RISCV開源處理器構(gòu)建的類vector的多核異構(gòu)系統(tǒng)，可以用來做低算力的深度學(xué)習(xí)應(yīng)用。當(dāng)然HWACHA本身也是開源的，有興趣可以去github下載源碼跑跑看。這里還是從硬件設(shè)計(jì)的角度來分析下這種多核異構(gòu)系統(tǒng)的特點(diǎn)。
Summary：HWACHA使用了自定義的類Vector指令集，通過內(nèi)嵌調(diào)用的形式和RISCV ISA整合在一起。HWACHA的執(zhí)行類似于緊耦合的coprocessor，RISCV core負(fù)責(zé)循環(huán)的控制，Vector units負(fù)責(zé)主要的向量運(yùn)算。兩者通過特殊的指令進(jìn)行co-work，實(shí)現(xiàn)控制和運(yùn)算錯拍的并行執(zhí)行。相比傳統(tǒng)的處理器Vector擴(kuò)展，HWACHA將integer和vector完全隔離，硬件設(shè)計(jì)相對簡單且易于擴(kuò)展，可以提供良好的并行性。不過由于是獨(dú)立的指令集，需要和RISCV ISA一起聯(lián)合編譯，對compiler有特殊的要求。
HWACHA是Berkeley的一個research 項(xiàng)目，從2011年第一代起，幾乎每年都有流片，到V4架構(gòu)推出，已經(jīng)是第14款芯片了，好快的迭代速度。HWACHA項(xiàng)目的初衷是探索一個energy-efficient的Vector architecture，基于RISC open ISA，設(shè)計(jì)一種數(shù)據(jù)高并行的可擴(kuò)展結(jié)構(gòu)。
這里先簡單介紹下vector的背景。向量計(jì)算（Vector）是一種特殊的單指令流多數(shù)據(jù)結(jié)構(gòu)，主要面向科學(xué)運(yùn)算，加解密，建模分析等高強(qiáng)度的計(jì)算任務(wù)。例如ARM的SVE。相比于傳統(tǒng)的SIMD結(jié)構(gòu)（如ARM的Advanced SIMD擴(kuò)展），Vector的主要優(yōu)勢是良好的軟件可移植性，也就是說相同的binary code，在不同規(guī)模的Vector機(jī)器上可以不經(jīng)改動直接執(zhí)行，同時軟件編程中不需要考慮根據(jù)具體硬件執(zhí)行的寬度進(jìn)行數(shù)據(jù)重排。這種軟件透明的設(shè)計(jì)大大減輕了軟件設(shè)計(jì)和維護(hù)的代價，因此在服務(wù)器領(lǐng)域應(yīng)用廣泛。
HWACHA的Vector指令集基本上類似于SVE，主要包括Vector寄存器堆VV0-VV255，Predicate寄存器堆VP0-VP15，以及向量控制寄存器VLEN。注意這里的vector寄存器有256個之多，大量的寄存器當(dāng)然有利于編譯器優(yōu)化，提升執(zhí)行性能，但是會對硬件設(shè)計(jì)主要是頻率帶來影響，后邊可以硬件為了支持這么大的寄存器尋址采取了特殊的機(jī)制。由于HWACHA是單獨(dú)的指令集，因此增加了一組標(biāo)量寄存器堆用作控制和標(biāo)量計(jì)算。這里比較特殊的是有獨(dú)立的地址寄存器堆VA0-VA31，這樣load和store就不會占用標(biāo)量寄存器號，有利于更好的schedule計(jì)算和存儲。不過這樣就需要在指令編碼中有專用位來指定寄存器的類型。對傳統(tǒng)的32位指令編碼，這當(dāng)然是個問題，會侵占指令編碼空間，不過HWACHA非常激進(jìn)，直接采用了64位指令寬度，這樣一來編碼空間就不是問題了。指令密度當(dāng)然會大不少，不過考慮到vector本身會以循環(huán)方式執(zhí)行，指令數(shù)目有限，那么這也不算是個很大的缺點(diǎn)。
HWACHA的執(zhí)行方式是很有特點(diǎn)的。首先整個Vector Engine作為一個coprocessor，和主CPU之間是de-couple開的，通過特殊的指令和傳輸buffer進(jìn)行交互。而這種交互過程是interleave的，可以實(shí)現(xiàn)back2back的并行，因此從這個角度來看，又是couple在一起的。例如一個簡單的for循環(huán)code：
HWACHA的編譯器會將其分解為循環(huán)控制部分和向量執(zhí)行部分，前者在主CPU中執(zhí)行，后者在Vector engine中執(zhí)行。CPU通過一條特殊指令VF（Vector Fetch）來通知Vector engine開始執(zhí)行，VF的參數(shù)即為Vector執(zhí)行的起始PC。在后者執(zhí)行完成后，通過vstop（Vector Stop）指令來表示執(zhí)行暫停，等待下次VF的輸入。在Vector engine執(zhí)行的同時，CPU繼續(xù)執(zhí)行，進(jìn)入下一拍循環(huán)進(jìn)行數(shù)據(jù)和控制準(zhǔn)備。這種方案可以提供CPU和Vector錯開的并行執(zhí)行能力，同時控制和數(shù)據(jù)又能有效的隔離，一方面簡化控制復(fù)雜度，另一方面Vector不受限于CPU的硬件結(jié)構(gòu)和帶寬，有很大的設(shè)計(jì)靈活性，比如HWACHA V4的一拖多結(jié)構(gòu)：
CPU和Vector之間通過若干個Buffer進(jìn)行交互。當(dāng)CPU執(zhí)行到VF指令后，會將其push到VCMDQ中。Vector通過內(nèi)部的Scalar Unit從VF指定的PC開始取指執(zhí)行，取到的Vector指令會發(fā)送到Master sequencer中，由其負(fù)責(zé)分發(fā)到各個Vector unit中去執(zhí)行。每個Vector Unit就是一個in-order的Vector核，包括local sequencer負(fù)責(zé)內(nèi)部調(diào)度，Vector和Predicate寄存器堆，以及獨(dú)立的Vector Load&Store unit，通過Crossbar和片外存儲相連。在執(zhí)行過程中，每個Vector Unit都是獨(dú)立運(yùn)行的，只有指令（操作）從Master sequencer中統(tǒng)一取得。左邊還有一個Vector runahead Unit，應(yīng)該是負(fù)責(zé)提前計(jì)算一些執(zhí)行所需的信息，保證Vector Units的數(shù)據(jù)流的連貫性。整個架構(gòu)是一種特殊的SIMD形式，用較少的控制來驅(qū)動大量的計(jì)算，而各個計(jì)算單元間又是獨(dú)立的，不需要像傳統(tǒng)SIMD指令那樣進(jìn)行同步。這樣控制當(dāng)然會簡單，但同時也無法支持精確異常等控制流事件。不過考慮到Vector的主要應(yīng)用場景，這并不算是一個很大的問題。
HWACHA的每個Vector Unit的結(jié)構(gòu)如上圖。Master Sequencer將譯碼后的指令分發(fā)給每個Unit的Lane sequencer，由后者進(jìn)行內(nèi)部schedule，包括dependency的檢查和處置。之前說過HWACHA的Vector寄存器有256個之多，這么大的寄存器堆在實(shí)現(xiàn)上是很不友好的。為了平衡面積和時序，這里采用了4 BANK 單口SRAM來實(shí)現(xiàn)寄存器堆。這里就有一個問題，指令通常有2~3個源操作數(shù)，單口SRAM如何有效的進(jìn)行寄存器讀寫，特別是在幾個操作數(shù)處于同一個RAM BANK中？HWACHA采用一個稱為“Systolic Bank Execution”的機(jī)制，簡單來說就是指令按順序的訪問RAM BANK0~3，指令i當(dāng)前cycle訪問BANKk，如果操作數(shù)在這個BANK里，就取出來，如果不在，就在下一個cycle訪問BANKk+1。同時指令i+1在當(dāng)前cycle 訪問BANKk-1。這樣的訪問序列不停頓，指令會一直循環(huán)這個過程直到把所有的操作數(shù)都取到，就發(fā)送到執(zhí)行單元去執(zhí)行。寫回的數(shù)據(jù)也會進(jìn)入這個systolic的FIFO，直到它移動到對應(yīng)的RAM BANK，再把數(shù)據(jù)寫回到寄存器堆中。這種繁瑣的機(jī)制更多的出于研究性質(zhì)，用來探索采用SRAM實(shí)現(xiàn)寄存器的讀寫的可行性，而不論從性能上，還是硬件實(shí)現(xiàn)上都不是個友好的方案。通常還是采用多級可流水的，多讀口的registerfile實(shí)現(xiàn)更合適。
整個執(zhí)行單元的設(shè)計(jì)并沒有太多的特殊之處，該有的arithmetic unit都有了。比較有特點(diǎn)的是它把ALU放到了寄存器堆的BANK里，每個BANK都有一個。這樣的設(shè)計(jì)主要用來加速單cycle ALU的執(zhí)行，是對HWACHA SRAM寄存器堆結(jié)構(gòu)讀寫效率不高的缺陷的一種彌補(bǔ)。
整體來說，HWACHA是一個偏研究性質(zhì)的架構(gòu)，很多問題的解決并非從工程的思路出發(fā)，選擇簡潔高效的方案，而是更多地進(jìn)行多種可能性的探索。除去這些，HWACHA的控制數(shù)據(jù)de-couple的想法，以及Vector部分并行運(yùn)算的軟硬件協(xié)同支持，都很有特點(diǎn)，同時HWACHA中指令集層面的部分思路，也已經(jīng)提交作為RISCV open ISA vector extension的標(biāo)準(zhǔn)。從這個角度來看，HWACHA的探索很有意義，也很成功。