近年來,產(chǎn)生、處理及進(jìn)一步利用數(shù)據(jù)以取得更多價值與資訊的方式已大不相同,而這都是受到深度學(xué)習(xí)與神經(jīng)網(wǎng)路應(yīng)用等新型運(yùn)算模型崛起所影響。這些深遠(yuǎn)的影響都始于數(shù)據(jù)中心,透過深度學(xué)習(xí)技術(shù)從大量數(shù)據(jù)中洞察出其價值,主要包括影像的分類與辨識、促成自然語言或語言處理功能,甚至用于理解、生成及學(xué)習(xí)如何進(jìn)行復(fù)雜的策略游戲。這個變化也帶動了專為解決此類問題,且更具能源效率運(yùn)算裝置的(以通用型繪圖處理器(GP-GPU)及現(xiàn)場可程式閘陣列(FPGA)為基礎(chǔ))發(fā)展,甚至包含完全客制特殊應(yīng)用積體電路(ASIC),能夠進(jìn)一步加快并且提升這類深度學(xué)習(xí)系統(tǒng)的運(yùn)算能力。
大數(shù)據(jù)與快數(shù)據(jù)
大數(shù)據(jù)(Big Data)應(yīng)用是使用特殊的GP-GPU、FPGA與ASIC處理器,搭配深度學(xué)習(xí)技術(shù)作分析,從中找出趨勢、固定模式及關(guān)聯(lián)性,借此提供影像辨識、語音辨識或其他功能。大數(shù)據(jù)的應(yīng)用多建立于「過去的數(shù)據(jù)」或「儲存于云端的數(shù)據(jù)」,因此經(jīng)常能形成「訓(xùn)練有素」的神經(jīng)網(wǎng)路,尤其適合執(zhí)行特定作業(yè),例如辨識并標(biāo)注影像或視訊中所有的臉孔,甚至是語音辨識也是代表性案例。
此類作業(yè)亦非常適合讓配有專用引擎(或推論引擎)及快數(shù)據(jù)應(yīng)用的邊緣裝置來執(zhí)行(圖1)。透過處理、分析終端所擷取的數(shù)據(jù),快數(shù)據(jù)可引用大數(shù)據(jù)的演算法提供即時決策及結(jié)果。畢竟大數(shù)據(jù)所提供的洞察價值之一,是從「已發(fā)生的事」來推斷「未來可能會發(fā)生的事」(預(yù)測性分析);而快數(shù)據(jù)則是提供即時行動,借此改善商業(yè)決策、營運(yùn),并減少效率不彰情況。這些方法亦可適用于各種邊緣及儲存裝置,像是攝影機(jī)、智慧型手機(jī)與固態(tài)硬碟(SSD)。
圖1 大數(shù)據(jù)、快數(shù)據(jù)與RISC-V商機(jī)
RISC-V為數(shù)據(jù)運(yùn)算新利器,新型工作負(fù)載量可分為兩種情境:
1.以特定工作負(fù)載「訓(xùn)練」大型神經(jīng)網(wǎng)路,例如影像或語音辨識。
2.將已「訓(xùn)練」或「量身打造」的神經(jīng)網(wǎng)路應(yīng)用在邊緣裝置上。
兩者的工作負(fù)載量都需要大量包含大矩陣乘法與卷積(Convolution)層的平行數(shù)據(jù)處理與運(yùn)算,為使這些運(yùn)算功能達(dá)到最佳配置,須有能運(yùn)作大規(guī)模向量或數(shù)據(jù)陣列的向量指令。RISC-V正是適合此類應(yīng)用的架構(gòu)與生態(tài)系統(tǒng),而其以開放原始碼軟件所設(shè)定的標(biāo)準(zhǔn)化運(yùn)算處理,可讓開發(fā)人員自由采用、修改,甚至增加專用的向量指令。圖1概述RISC-V運(yùn)算架構(gòu)可應(yīng)用的情境及范例。
優(yōu)化數(shù)據(jù)移動方式/時間為運(yùn)算處理首要任務(wù)
快數(shù)據(jù)與終端運(yùn)算的崛起,亦代表將所有數(shù)據(jù)來回傳輸至云端進(jìn)行分析已不是最有效率的方案。首先,相對大量的數(shù)據(jù)在行動網(wǎng)路及乙太網(wǎng)路之間長距離傳送所造成的延遲,對于必須即時作業(yè)處理的影像或語音辨識應(yīng)用而言并非最佳作法。
其次,終端運(yùn)算才是真正能擴(kuò)充架構(gòu)價值之所在,尤其在執(zhí)行影像及語音處理,或利用固態(tài)硬碟進(jìn)行運(yùn)算時。如此一來,在每次新增邊緣裝置時,即可增加整體架構(gòu)的運(yùn)算性能。因此,如何優(yōu)化數(shù)據(jù)移動的方式和時間,才是新架構(gòu)可擴(kuò)充性的關(guān)鍵因素與考量。
圖1a中,云端數(shù)據(jù)中心伺服器利用大數(shù)據(jù)資料來進(jìn)行深度學(xué)習(xí)神經(jīng)網(wǎng)路的「訓(xùn)練」與「學(xué)習(xí)」。圖1b中,位于終端的監(jiān)控攝影機(jī),配備了能引用大數(shù)據(jù)演算法的推理引擎,可即時辨識影像(快數(shù)據(jù))。圖1c中,智慧型固態(tài)硬碟裝置使用推理引擎進(jìn)行數(shù)據(jù)辨識及分類,有效利用裝置的頻寬。正如圖1所列出RISC-V核心的潛在應(yīng)用,使用者可以自由新增專用及未來標(biāo)準(zhǔn)化的向量指令,對于往后處理深度學(xué)習(xí)與推論技術(shù)都極為重要。
另一個類似且重要的趨勢,是數(shù)據(jù)如何在大數(shù)據(jù)與云端內(nèi)部進(jìn)行移動與存取。傳統(tǒng)的運(yùn)算架構(gòu)皆利用附加在多種裝置的匯流排(Bus)搭載資料傳輸(例如專用機(jī)器學(xué)習(xí)加速器、顯示卡、快速SSD,以及智慧聯(lián)網(wǎng)控制器等)。此類型匯流排,特別是CPU及主要持久型記憶體(Persistent Memory)之間皆因頻寬速度限制,導(dǎo)致設(shè)備本身的效能并未能被完善使用。此外,此類型運(yùn)算裝置的記憶體不但不能互相分享,也無法與CPU共用,同時造成了設(shè)備資源的浪費。
目前產(chǎn)業(yè)已有幾大重要新興趨勢,針對如何改善不同運(yùn)算裝置之間的數(shù)據(jù)移動(例如CPU、運(yùn)算及網(wǎng)路加速器),以及如何存取在記憶體或快速儲存裝置里面的數(shù)據(jù)。這些新的趨勢都著重在開放式標(biāo)準(zhǔn),以提供更快、更低延遲的串行連接架構(gòu),以及更聰明的邏輯協(xié)定,讓共享記憶體具有連貫的存取路徑。
RISC-V為優(yōu)化數(shù)據(jù)移動關(guān)鍵技術(shù)
未來的架構(gòu)必須針對持久型記憶體以及具備連貫性快取的快速匯流排(例如TileLink、RapidIO、OpenCAPI和Gen-Z),透過連結(jié)運(yùn)算加速器,提升效能持續(xù)性,同時使所有裝置共享記憶體,減少不必要的數(shù)據(jù)移動。
傳統(tǒng)的運(yùn)算架構(gòu)因在高速記憶體與運(yùn)算系統(tǒng)應(yīng)用頻寬受限的匯流排,導(dǎo)致效能隨之受限。未來的運(yùn)算架構(gòu)則采用開放式介面,能為平臺所有運(yùn)算資源提供統(tǒng)一且具有連貫性快取的存取途徑(稱為以數(shù)據(jù)為中心的架構(gòu)),且部署的裝置能利用同一個共享記憶體,減少不必要的數(shù)據(jù)復(fù)制。
非核心(Uncore)CPU與網(wǎng)路介面控制器將會逐漸成為移動數(shù)據(jù)的關(guān)鍵推動元件。未來非核心CPU元件不但必須能夠支援關(guān)鍵記憶體及持久型記憶體介面(例如NVDIMM-P),也須覆蓋內(nèi)建于CPU的記憶體。除此之外,適用于運(yùn)算加速器、智慧聯(lián)網(wǎng)及遠(yuǎn)端持久型記憶體的智慧高速型式匯流排也都是不可或缺。此外,匯流排上所有的裝置(例如CPU、通用或?qū)S眯瓦\(yùn)算加速器、網(wǎng)路配接器、儲存裝置或記憶體)都可以加入自己的運(yùn)算資源,但前提是必須能存取分享記憶體。
RISC-V技術(shù)可視為優(yōu)化數(shù)據(jù)移動的關(guān)鍵推動因素,因其可于所有運(yùn)算加速器裝置上建置新機(jī)器學(xué)習(xí)工作負(fù)載量的向量指令,并提供開放原始碼CPU技術(shù);不但支援開放式記憶體與智慧匯流排介面,也能建置以數(shù)據(jù)為中心、內(nèi)含連貫式分享記憶體的新型架構(gòu)。
以RISC-V解決各項挑戰(zhàn)
大數(shù)據(jù)與快數(shù)據(jù)在未來將會面對各種移動數(shù)據(jù)相關(guān)的挑戰(zhàn),而這卻能為RISC-V指令集架構(gòu)(ISA)及其所采用的開放式模組開拓新市場,它將會是以數(shù)據(jù)為中心的運(yùn)算架構(gòu)情境的首選,功能包括:
擴(kuò)充邊緣運(yùn)算裝置所需的運(yùn)算資源。
新增專用指令,例如客制化機(jī)器學(xué)習(xí)工作的向量指令。
于儲存與記憶體媒介裝置小型運(yùn)算核心。
促成新的運(yùn)算概念與模組化芯片設(shè)計。
促進(jìn)以數(shù)據(jù)為中心的新架構(gòu),所有處理元件都能連貫存取分享持久型記憶體,進(jìn)而優(yōu)化數(shù)據(jù)移動的應(yīng)用與環(huán)境。
RISC-V是由超過100個組織的會員所開發(fā),其中包含一個由軟硬件創(chuàng)新人士所組成的協(xié)作社團(tuán),能針對特定目的或?qū)0父木幹噶罴軜?gòu)。所有加入此組織的會員,皆能使用Berkeley Software Distribution(BSD)授權(quán)條款來設(shè)計、制造或/與販?zhǔn)跼ISC-V芯片與軟件。為實現(xiàn)數(shù)據(jù)的價值與可能性,須擷取、保存、存取及轉(zhuǎn)換數(shù)據(jù),將其潛力發(fā)揮到極致。大數(shù)據(jù)和快數(shù)據(jù)應(yīng)用的環(huán)境,已超越通用型運(yùn)算架構(gòu)的處理能力范圍。未來,極度以數(shù)據(jù)為中心的應(yīng)用須具備專用處理功能,而裝置間也需要能以開放形式支援獨立數(shù)據(jù)資源的擴(kuò)充。
新型態(tài)的機(jī)器學(xué)習(xí)運(yùn)算工作負(fù)載量,將帶動這類可擴(kuò)充型架構(gòu)的崛起,而其中的關(guān)鍵因素必須依靠所有裝置都具備的共通運(yùn)算架構(gòu),并以持久型記憶體作為主要數(shù)據(jù)儲存;換言之,所有裝置都能扮演運(yùn)算的角色,借以提高運(yùn)算能力。所有新一代云端及終端應(yīng)用,都需要這種新型態(tài)的低能耗處理功能,因為此類運(yùn)算加速處理器能專注于運(yùn)算處理手邊的作業(yè)、避免移動數(shù)據(jù)所浪費的時間或執(zhí)行與數(shù)據(jù)無關(guān)的多余運(yùn)算。透過數(shù)據(jù)的力量、潛力和可能性,個人、社群及整個世界都將得以更加蓬勃發(fā)展。