編輯|信創(chuàng)縱橫公眾號(ID:xinchuangzh)
出品 | 安東工作室
來源|綜合自半導(dǎo)縱橫創(chuàng)咨詢、e公司等
隨著算力網(wǎng)絡(luò)的建設(shè)發(fā)展,業(yè)內(nèi)對存儲環(huán)節(jié)的關(guān)注度也直線上升。
7月20日在2023世界半導(dǎo)體大會上,中國工程院院士、中國科學(xué)院計算技術(shù)研究所研究員倪光南表示,當(dāng)前AI算力中心蓬勃興起,但是廣義算力不僅包括算力,還包括存力、運(yùn)力。數(shù)據(jù)顯示,預(yù)計2025年中國數(shù)據(jù)量將從7.6ZB增至48.6ZB,超過美國成為全球第一。當(dāng)前,全球各國都在加快制定國家數(shù)據(jù)戰(zhàn)略,其中,存儲技術(shù)和產(chǎn)業(yè)成為共同關(guān)注的戰(zhàn)略重點(diǎn)。
當(dāng)前中國算力中心存力不足,存在重算力輕存力的傾向,國內(nèi)的存儲發(fā)展跟不上數(shù)據(jù)量的增長。根據(jù)倪光南提及的一組數(shù)據(jù),中國算力中心采用SSD(固態(tài)硬盤)先進(jìn)算力占比僅為24.7%,約為美國一半。中國單位GDP的數(shù)據(jù)存儲量只有美國70%左右,而人均數(shù)據(jù)存儲量,美國是中國的9倍。美國為212GB/人,中國約為25GB/人,說明中國數(shù)據(jù)存儲產(chǎn)業(yè)大有可為、前景廣闊。
倪光南建議制定算力和存力適當(dāng)比例范圍,重視高效存儲產(chǎn)業(yè)人才培養(yǎng),以及將數(shù)據(jù)存儲列入信創(chuàng)范圍、設(shè)立國家科技攻關(guān)計劃和相關(guān)數(shù)據(jù)存儲專項,協(xié)同上下游產(chǎn)業(yè)攻關(guān)等。
現(xiàn)在AI大模型崛起,進(jìn)一步推動了算力的需求。雖然AI算力中心不斷興起,但是倪光南指出,目前普遍對算力的理解有片面性,廣義算力不僅包括算力,還包括存力、運(yùn)力。當(dāng)前中國算力中心的存力相對不足,存在重算力輕存力的傾向。
他進(jìn)一步分析道,中國存儲容量增長快,但主要用機(jī)械硬盤HDD,先進(jìn)半導(dǎo)體存儲技術(shù)滯后。比如,存儲領(lǐng)域閃存市場占比中,全球平均水平為41.3%,美國為56.4%,中國為20.3%,僅是全球水平的一半。再看算力中心采用SSD(固態(tài)硬盤)先進(jìn)存力占比,美國為52.8%,中國為24.7%。
面對新一輪存儲技術(shù)變革,在倪光南看來,隨著國產(chǎn)存儲整機(jī)和閃存生產(chǎn)能力提升,SSD(固態(tài)硬盤)取代HDD(機(jī)械硬盤)的時機(jī)已經(jīng)到來。
談及存儲芯片產(chǎn)業(yè)鏈,倪光南介紹道,中國的新型半導(dǎo)體存儲產(chǎn)業(yè)鏈比較完整,比如在產(chǎn)業(yè)鏈上游,長江存儲的NANDFlash和長鑫存儲的DRAM芯片已經(jīng)達(dá)到全球主流的水平和生產(chǎn)能力;在SSD主控芯片方面,國內(nèi)已經(jīng)有十幾家廠商的產(chǎn)品得到商用,產(chǎn)品能力與國外主流廠商持平。
而在產(chǎn)業(yè)鏈中游,我國存儲整機(jī)的核心能力和競爭力構(gòu)筑在自主的核心存儲芯片、系統(tǒng)架構(gòu)和軟件之上,也已具備國際領(lǐng)先技術(shù)水平,目前國產(chǎn)品牌廠商在國內(nèi)市場占比85%,在全球市場份額占比20%,在海外有巨大增長空間。
在他看來,我國新型存儲產(chǎn)業(yè)在實(shí)現(xiàn)國產(chǎn)化的情況下已經(jīng)具備了國際競爭力,今后如能通過雙循環(huán)拉動,迅速擴(kuò)展規(guī)模,提升性價比和營銷服務(wù)能力,有望成為IT領(lǐng)域的“5G”產(chǎn)業(yè),成為中國的又一新名片。
對于存儲產(chǎn)業(yè)發(fā)展,倪光南建議制定算力和存力適當(dāng)比例范圍,重視高效存儲產(chǎn)業(yè)人才培養(yǎng),以及將數(shù)據(jù)存儲列入信創(chuàng)范圍、設(shè)立國家科技攻關(guān)計劃和相關(guān)數(shù)據(jù)存儲專項,協(xié)同上下游產(chǎn)業(yè)攻關(guān)等。
倪光南院士表示,隨著信息技術(shù)的快速發(fā)展,數(shù)據(jù)存儲作為一個重要的產(chǎn)業(yè)分支以后會成為一個廣為人知的產(chǎn)業(yè)。
2021年美國提出《創(chuàng)新與競爭法》,要拿出大量資金來發(fā)展十大關(guān)鍵技術(shù),包括數(shù)據(jù)存儲,數(shù)據(jù)管理技術(shù)。目前國內(nèi)對存儲的概念還停留在一個小的部件,沒有把它上升到一個產(chǎn)業(yè)的高度。
據(jù)預(yù)測2025年中國的數(shù)據(jù)存儲量將超過美國,未來有望成為世界第一數(shù)據(jù)大國。作為數(shù)據(jù)大國,數(shù)據(jù)存儲產(chǎn)業(yè)就需要跟上,中國應(yīng)該抓住這個機(jī)遇,有強(qiáng)大先進(jìn)的數(shù)據(jù)存儲產(chǎn)業(yè)作為支撐,才能有發(fā)展的主動權(quán)。
中國新增數(shù)據(jù)量年復(fù)合增長率是30%左右,目前數(shù)據(jù)存儲市場規(guī)模還不夠大,市場還跟不上數(shù)據(jù)量的發(fā)展,需要充分用好數(shù)據(jù)量的拉動,把成熟數(shù)據(jù)成熟產(chǎn)業(yè)帶動起來。
從人均的數(shù)據(jù)存儲量來看,目前美國人均存儲量是212 GB/人,中國是25 GB/人,美國是中國的8倍,這說明中國數(shù)據(jù)存儲產(chǎn)業(yè)是大有可為的,前景是非常光明的。
當(dāng)前,數(shù)據(jù)存儲產(chǎn)業(yè)一個很大的推動因素來自于大語言模型。大模型正在帶動各地建設(shè)AI算力中心,但是產(chǎn)業(yè)主要關(guān)心的都是運(yùn)算力。實(shí)際上算力中心的計算能力由三個因素決定:存力、算力、運(yùn)力。倪光南院士認(rèn)為,用廣義算力去定義一個算力中心,才更準(zhǔn)確。
美國的算力中心存算比為1.11TB/GFlops,中國約為美國的37.8%。相對來說,走在更前列,經(jīng)過市場檢驗的美國算力中心的存算比會更合理一點(diǎn)。當(dāng)算力中心可能會出現(xiàn)算力發(fā)揮不了作用,這時候就需要把存力提高了。產(chǎn)業(yè)應(yīng)該去研究算力建設(shè),確定一個適當(dāng)?shù)谋戎?,充分發(fā)揮我們投資的效益。確定合適的存算比,有助于當(dāng)前AI算力中心的建設(shè)。
從技術(shù)變革方面來看,存儲領(lǐng)域正在發(fā)生一項新的技術(shù)變革,即基于半導(dǎo)體技術(shù)的新型產(chǎn)品替代基于機(jī)械技術(shù)的傳統(tǒng)產(chǎn)品,這一個正在加速進(jìn)行的客觀趨勢。
全球SSD占存儲市場比重是41.3%,這一比例在美國是56.4%,在中國約為20.3%,說明在國內(nèi)還是傳統(tǒng)存儲占了很大的比重,而發(fā)達(dá)國家已經(jīng)走在前面了,用先進(jìn)的半導(dǎo)體存儲替代了傳統(tǒng)的機(jī)械存儲,這是一個很重要的啟示。有差距也說明有市場潛力。
SSD對機(jī)械硬盤替代的進(jìn)度慢很大一個問題是價格。不過SSD在性能、能耗方面仍有優(yōu)勢。圖上藍(lán)線就是半導(dǎo)體存儲的價格變化,紅線是機(jī)械存儲的變化,綠線是SSD與機(jī)械存儲的比較,在今年大概是2.2,兩者有望在2026年實(shí)現(xiàn)平衡。
倪光南院士強(qiáng)調(diào),對于存儲產(chǎn)品不應(yīng)該只關(guān)注價格問題,綜合各種性能來看SSD的性價比已經(jīng)超出了機(jī)械硬盤。
SSD可以實(shí)現(xiàn)用先進(jìn)的壓縮算法,把數(shù)據(jù)更好的壓縮,可以去重,可以更好的加密解密,用新的文件系統(tǒng)等等。在招標(biāo)中只考慮價格,不考慮其他因素,這是不對的,倪光南院士也建議有關(guān)方面在招標(biāo)項目規(guī)劃之中,更加全面考慮存儲產(chǎn)品的多種性能。各方面共同努力推動半導(dǎo)體存儲替代機(jī)械存儲的產(chǎn)業(yè)變革。
用SSD替代機(jī)械硬盤從供應(yīng)鏈安全的角度來看也有好處,因為現(xiàn)在的機(jī)械硬盤市場完全被外國廠商壟斷。倪光南院士提到,在新型存儲的產(chǎn)業(yè)鏈上游國產(chǎn)公司布局是比較完整的,目前來講主要的芯片像NAND,DRAM芯片都可以自己生產(chǎn)。從中游來講,國內(nèi)在核心存儲設(shè)備、系統(tǒng)架構(gòu)軟件都有自主創(chuàng)新的東西,達(dá)到了國際領(lǐng)先的技術(shù)水平,比如像華為的存儲在全球僅次于EMC。在新型存儲領(lǐng)域,中國品牌有足夠的國際競爭力。
當(dāng)前是發(fā)展中國數(shù)據(jù)存儲產(chǎn)業(yè)的好時機(jī),倪光南院士給出了幾點(diǎn)建議。
1、產(chǎn)業(yè)發(fā)展,標(biāo)準(zhǔn)先行。為促進(jìn)產(chǎn)業(yè)更好地發(fā)展,以“行標(biāo)”或“團(tuán)標(biāo)”的方式,發(fā)布“算力中心建設(shè)指南”;提出“算力”與“存力”的適當(dāng)比率范圍;提出“存力”中采用SSD先進(jìn)存力的適當(dāng)比率范圍,避免大力發(fā)展算力中心建設(shè)中的某些傾向,均衡部署,均衡發(fā)展,搶占新一輪科技革命和產(chǎn)業(yè)變革的制高點(diǎn)。
2、政策引導(dǎo),力推SSD取代HDD。存儲設(shè)備的政府采購、招標(biāo)等項目中,應(yīng)優(yōu)先支持SSD,不得以單一價格指標(biāo)作為評標(biāo)依據(jù);重要基礎(chǔ)設(shè)施的存儲設(shè)備,政府應(yīng)政策引導(dǎo)指定采用國產(chǎn)SSD以此促進(jìn)國產(chǎn)SSD的產(chǎn)業(yè)發(fā)展。
3、安全測評,公平公正。美光未通過中國政府對其的安全審查,為國產(chǎn)存儲產(chǎn)業(yè)發(fā)展提供發(fā)展窗口期。存儲領(lǐng)域應(yīng)以此為契機(jī),重視對存儲產(chǎn)品的安全審查,包括供應(yīng)鏈安全、信息安全、數(shù)據(jù)安全等等。尤其是對于存儲整機(jī)、主控芯片、存儲文件系統(tǒng)等等關(guān)鍵核心技術(shù),建議參照信創(chuàng)工作經(jīng)驗,實(shí)施“自主可控測評”,根據(jù)第三方測評機(jī)構(gòu)給出的自主可控測評分值作為選擇依據(jù)。
4、千秋大業(yè),人才為先。重視高校存儲產(chǎn)業(yè)人才培養(yǎng)。存儲產(chǎn)業(yè)為技術(shù)密集型產(chǎn)業(yè),產(chǎn)品研發(fā)需要大量具有存儲技術(shù)研發(fā)能力的人才。北美有60+高校開展存儲領(lǐng)域研究,領(lǐng)軍教授80+,博士團(tuán)隊500+;西歐有20+高校開展領(lǐng)域研究,領(lǐng)軍教授30+、博士團(tuán)隊200+;目前國內(nèi)僅有10+高校開展存儲領(lǐng)域研究,領(lǐng)軍教授10+,博士隊伍100+,碩士不足300人。數(shù)據(jù)看出,人才基數(shù)與中國整個存儲產(chǎn)業(yè)和應(yīng)用市場體量來講顯然是不匹配的,建議在高校要增設(shè)存儲專業(yè)、課程、實(shí)驗室等,擴(kuò)大存儲人才培養(yǎng)規(guī)模,并從收入、激勵機(jī)制、基本公共服務(wù)等多角度構(gòu)建新的人才政策,吸引并聚集國內(nèi)外優(yōu)秀人才。
5、集聚產(chǎn)業(yè),協(xié)同攻關(guān)。建議將數(shù)據(jù)存儲列入信創(chuàng)范圍,與上下游產(chǎn)業(yè)協(xié)同促進(jìn)國產(chǎn)信息技術(shù)生態(tài)發(fā)展。同時設(shè)立國家科技攻關(guān)計劃和相關(guān)產(chǎn)業(yè)鏈中數(shù)據(jù)存儲專項,組織國內(nèi)產(chǎn)學(xué)研用各界聯(lián)合攻關(guān),實(shí)現(xiàn)全產(chǎn)業(yè)鏈風(fēng)險可控;成立存儲國家實(shí)驗室、國家級科創(chuàng)平臺等,開展前沿技術(shù)研究,形成原創(chuàng)性成果,提升國產(chǎn)存儲全球技術(shù)競爭力。
小知識:數(shù)據(jù)存儲的那些事兒
寫在前面
對于運(yùn)維來說,數(shù)據(jù)讀取、安全與存儲,也是至關(guān)重要的一點(diǎn),數(shù)據(jù)存儲的技術(shù)點(diǎn)也是相當(dāng)?shù)亩啵姹容^廣,今天,民工哥來給各位小伙伴聊一聊有關(guān)于數(shù)據(jù)存儲的“那些事兒”
存儲的概念介紹
數(shù)據(jù)存儲對象包括數(shù)據(jù)流在加工過程中產(chǎn)生的臨時文件或加工過程中需要查找的信息。數(shù)據(jù)以某種格式記錄在計算機(jī)內(nèi)部或外部存儲介質(zhì)上。數(shù)據(jù)存儲要命名,這種命名要反映信息特征的組成含義。數(shù)據(jù)流反映了系統(tǒng)中流動的數(shù)據(jù),表現(xiàn)出動態(tài)數(shù)據(jù)的特征;數(shù)據(jù)存儲反映系統(tǒng)中靜止的數(shù)據(jù),表現(xiàn)出靜態(tài)數(shù)據(jù)的特征,解釋來源于百度百科。
民工哥用一句話總結(jié):數(shù)據(jù)存儲就是將一定量的數(shù)據(jù)通過不同的存儲架構(gòu)存儲到不同的存儲介質(zhì)當(dāng)中
存儲介質(zhì)介紹
磁盤和磁帶都是常用的存儲介質(zhì)
磁盤又分機(jī)械式磁盤、SSD等類型
數(shù)據(jù)存儲組織方式因存儲介質(zhì)而異。在磁帶上數(shù)據(jù)僅按順序文件方式存??;在磁盤上則可按使用要求采用順序存取或直接存取方式。數(shù)據(jù)存儲方式與數(shù)據(jù)文件組織密切相關(guān),其關(guān)鍵在于建立記錄的邏輯與物理順序間對應(yīng)關(guān)系,確定存儲地址,以提高數(shù)據(jù)存取速度。
存儲方式
DAS直接附加存儲方式
就與普通的PC機(jī)存儲一樣,將外部的存儲設(shè)備直接加在服務(wù)器內(nèi)部來存儲數(shù)據(jù)
這種存儲方式,比較適用于小型網(wǎng)絡(luò)結(jié)構(gòu),數(shù)據(jù)量小,對數(shù)據(jù)的傳輸與讀取速度要求不高的場景下
NAS網(wǎng)絡(luò)存儲方式
它是采用獨(dú)立于應(yīng)用服務(wù)器,單獨(dú)為網(wǎng)絡(luò)數(shù)據(jù)存儲而開發(fā)的一種文件服務(wù)來連接所有的存儲設(shè)備,通過這種方式來存儲數(shù)據(jù),可單獨(dú)為所有應(yīng)用服務(wù)共享使用
這種存儲方式安裝布署比較簡單,可以即插即用,而且不依賴于操作系統(tǒng),缺點(diǎn)就是存儲的性能不太好
SAN存儲方式
這種存儲方式是1991年IBM公司推出的,基于光纖介質(zhì)的一種存儲方式,它的組成如下:
1)存儲和備份設(shè)備:包括磁帶、磁盤和光盤庫等。
2)光纖通道網(wǎng)絡(luò)連接部件:包括主機(jī)總線適配卡、驅(qū)動程序、光纜、集線器、交換機(jī)、光纖通道和SCSI間的橋接器
3)應(yīng)用和管理軟件:包括備份軟件、存儲資源管理軟件和存儲設(shè)備管理軟件。
磁盤陣列系統(tǒng)介紹
由于數(shù)據(jù)存儲量的增長,單塊磁盤設(shè)備不能滿足正常的存儲量需求了,因此引入了磁盤陣列系統(tǒng)這個概念,常用的磁盤陣列有以下幾個
RAID 0
RAID0是所有磁盤陣列中讀寫性能最好,也是最簡單的實(shí)現(xiàn)方式
但它缺點(diǎn)是沒有數(shù)據(jù)冗余及恢復(fù)機(jī)制,它至少需要兩塊盤進(jìn)行組建,從而將兩塊磁盤的空量疊加在一起,形成一個新的大的存儲容量磁盤,由于它的缺點(diǎn),當(dāng)其中一塊磁盤損壞,就會造成數(shù)據(jù)丟失無法恢復(fù),這種陣列可以存儲一些大量的日志數(shù)據(jù)
RAID 1
RAID 1它被稱為鏡像陣列,因此結(jié)構(gòu)中的磁盤是互為鏡像互備的
此結(jié)構(gòu)最少需要兩塊盤組成,當(dāng)一塊磁盤損壞可以即時恢復(fù)數(shù)據(jù),它的讀取性能比較好,存儲的性能較差,因為同一份數(shù)據(jù)需要寫入到兩塊磁盤中
RAID 10 01
RAID10需要四塊盤進(jìn)行組建,理論上兩塊盤也可以,不過沒有任何實(shí)際可用的意義
這類結(jié)構(gòu)要求最好磁盤的容量最好一致,否則整個陣列只能識別最小容量的磁盤設(shè)備,它是獨(dú)立工作的兩組RAID1,然后再組成RAID0這樣的陣列結(jié)構(gòu)
RAID01(或稱之為RAID0+1)
它的結(jié)構(gòu)是先將磁盤組成RAID0,然后再組成多個獨(dú)立的RAID1
RAID5
這種結(jié)構(gòu)至少需要三塊磁盤組成
它是基于基偶校驗的原理,它的算法核心是XOR,可以允許損壞一塊磁盤,然后通過這種XOR算法,能很快的完成數(shù)據(jù)的恢復(fù)。
更多精彩內(nèi)容歡迎點(diǎn)擊==>>電子技術(shù)應(yīng)用-AET<<