國家計算機質(zhì)檢中心陽小珊：論閃存的質(zhì)量特性及測試與評價技術(shù)

目前，對閃存產(chǎn)品的測試和評價技術(shù)指標(biāo)主要從功能、性能、可靠性、易用性等方面進行多維度綜合測評，而不同的產(chǎn)品形態(tài)，測評的技術(shù)指標(biāo)不一定相同。閃存作為行業(yè)高度認(rèn)可的未來存儲介質(zhì)，其質(zhì)量如何保障，是大家都需要考慮的問題，生產(chǎn)高質(zhì)量的國產(chǎn)閃存產(chǎn)品始終離不開嚴(yán)格的測試和標(biāo)準(zhǔn)的制定。

—— 國家計算機質(zhì)檢中心存儲測評實驗室主任陽小珊

本文記錄陽小珊在2018全球存儲半導(dǎo)體大會暨全球閃存技術(shù)峰會上的演講實錄，主題：《閃存的質(zhì)量特性及測試與評價技術(shù)》。陽小珊分別從對當(dāng)前閃存市場的產(chǎn)品質(zhì)量、產(chǎn)業(yè)發(fā)展?fàn)顩r以及有關(guān)閃存的測試與評價內(nèi)容進行了深入分析。

以下為演講實錄：

我的演講首先涉及到閃存產(chǎn)品的質(zhì)量。作為用戶和普通第二方、第三方怎么評價這個產(chǎn)品是非常關(guān)鍵的，所以題目重點是閃存質(zhì)量特性及測試評價。主要從這幾個方面來講，第一是質(zhì)量與產(chǎn)業(yè)鏈的關(guān)系，第二是閃存及測試現(xiàn)狀，主要是國內(nèi)現(xiàn)狀，第三是閃存的質(zhì)量特性，從多個方面評價產(chǎn)品，第四是測試與評價。這個題目原來是在設(shè)計的時候后面加了技術(shù)，因為涉及到我講的面比較廣，所以不需要深入講測評技術(shù)。

第一個方面是質(zhì)量內(nèi)容，首先重點講一下質(zhì)量和國家發(fā)展的關(guān)系。質(zhì)量，進入二十一世紀(jì)以來，行業(yè)和國家都非常關(guān)注質(zhì)量的內(nèi)容。作為國家級戰(zhàn)略，這部分已經(jīng)寫入十九大報告。質(zhì)量報告包括四方面的內(nèi)容，第一是產(chǎn)品質(zhì)量是堅石的基礎(chǔ)，也就是說芯片，包括上面的應(yīng)用產(chǎn)品是我們的重點。然后是質(zhì)量保障、質(zhì)量提升和質(zhì)量監(jiān)管，關(guān)于第四部分質(zhì)量監(jiān)管目前是國內(nèi)改革的重點，行政許可基本放權(quán)，測試和評價是后面重要的監(jiān)管手段，事前事中事后，通過后面的質(zhì)量監(jiān)管體現(xiàn)服務(wù)質(zhì)量。

測試和質(zhì)量的關(guān)系，談到質(zhì)量肯定離不開測試，測試對我們的技術(shù)研究、產(chǎn)品設(shè)計、產(chǎn)品制造和產(chǎn)品應(yīng)用都是非常關(guān)鍵的，對我們最終的用戶來說，產(chǎn)品的應(yīng)用非常關(guān)鍵，所以里面涉及到不同的測試方案都不一樣，是整個產(chǎn)業(yè)生態(tài)鏈中不可缺失的重要環(huán)節(jié)。測試在我們企業(yè)產(chǎn)品生產(chǎn)過程中是重要的保障手段，也是發(fā)現(xiàn)產(chǎn)品問題、提升產(chǎn)品質(zhì)量的重要手段。測試需求我們都知道，測試不僅僅說普通的用戶需要，第一方需要，第二方需要，第三方也需要，第三方就是我們目前主要做的工作，做質(zhì)量鑒定、認(rèn)可、發(fā)證這些方面的工作。

談到質(zhì)量離不開標(biāo)準(zhǔn)，標(biāo)準(zhǔn)在產(chǎn)業(yè)發(fā)展中的地位不可動搖，具體表現(xiàn)在支撐性、戰(zhàn)略性和基礎(chǔ)性。標(biāo)準(zhǔn)是保證產(chǎn)品質(zhì)量的重要依據(jù)，也是調(diào)整產(chǎn)業(yè)結(jié)構(gòu)的杠桿，更是科技成果轉(zhuǎn)化的橋梁。技術(shù)形成以后怎么才能形成產(chǎn)業(yè)標(biāo)準(zhǔn)指導(dǎo)產(chǎn)業(yè)發(fā)展是非常重要的，只要標(biāo)準(zhǔn)化出來引導(dǎo)標(biāo)準(zhǔn)。尤其是現(xiàn)在很火的5G，誰能引導(dǎo)標(biāo)準(zhǔn)，這在國際上的競爭是非常重要的。

存儲產(chǎn)品對整個信息化發(fā)展具有非常重大的促進作用，是基礎(chǔ)產(chǎn)品。目前物聯(lián)網(wǎng)、大數(shù)據(jù)需求很旺，但是我們國內(nèi)的情況不是太樂觀，起步比較晚，技術(shù)比較低，知識產(chǎn)權(quán)相對比較少，缺少關(guān)鍵的核心技術(shù)。閃存作為未來發(fā)展的重要存儲設(shè)備，它的地位不可動搖。整個行業(yè)怎么把質(zhì)量提升上來，如何保證用戶的使用，是大家都需要共同考慮的問題。

下面我講一下測試的現(xiàn)狀。既然講到測試的話，需要有標(biāo)準(zhǔn)和方法，要明確產(chǎn)品的類型，我這里講閃存測試是針對閃存的相關(guān)產(chǎn)品。在行業(yè)里面目前分了幾大產(chǎn)品類型，第一是閃存卡，我們經(jīng)常用到，也是比較成熟的。第二是固態(tài)盤，閃存盤也歸在里面，產(chǎn)品不一樣，標(biāo)準(zhǔn)方法也不一樣。第三是閃存陣列，這是對特殊應(yīng)用來說的，包括混合陣列和全閃陣列等等。第四是閃存系統(tǒng)，就是上層的應(yīng)用產(chǎn)品，包括具有閃存的軟硬件系統(tǒng)，像固態(tài)盤、閃存介質(zhì)、閃存文件管理系統(tǒng)等方面的內(nèi)容。

還有非常關(guān)鍵的測試跟產(chǎn)業(yè)鏈的關(guān)系，剛才簡單講了。測試其實是廣泛和深入的學(xué)科，里面涉及到的東西很多，第一是評測指標(biāo)體系。剛才陳教授講可靠性的話，可靠性其實是非常廣泛和深入的評價體系和指標(biāo)體系，對應(yīng)的方法和標(biāo)準(zhǔn)、服務(wù)測試都不一樣，里面的內(nèi)容很多。測試體系大的三個方面去研究，第一是測評指標(biāo)體系，先要測試它，這個產(chǎn)品的質(zhì)量要做評價指標(biāo)體系。第二是針對不同產(chǎn)品和不同指標(biāo)設(shè)計相關(guān)方面，研制相關(guān)標(biāo)準(zhǔn)。最后是相關(guān)的測試工具進行測評服務(wù)，所以涉及到整個產(chǎn)業(yè)鏈里面的關(guān)鍵技術(shù)研究。在新技術(shù)研究的時候，都需要這些指標(biāo)和方法去驗證，包括測試儀器和工具。產(chǎn)品模型設(shè)計，產(chǎn)品生產(chǎn)制造是比較關(guān)鍵的，會涉及到定型檢測、出廠檢測，這是軟件間的提升，再就是生產(chǎn)和應(yīng)用的表現(xiàn)。

接下來講閃存國內(nèi)的測評需求，針對國內(nèi)產(chǎn)品類型的分類，我通過多年的測試情況整理了一些測試分類。第一個是市場上的需求，目前民用測試需求很廣，在市場上作為第三方經(jīng)常幫助用戶買存儲設(shè)備，閃存卡、閃存盤，容量不夠、性能出問題、可靠性出問題的鑒定檢測。第二是消費者協(xié)會威權(quán)檢測，國內(nèi)有12315質(zhì)量協(xié)會。第三是政府的采購，重點是對專業(yè)領(lǐng)域大的存儲系統(tǒng)購買。隨著閃存產(chǎn)品的成熟，海量級閃存產(chǎn)品替代作為政府關(guān)鍵采購設(shè)備，有些替代傳統(tǒng)滿足性能，可靠性功能等各方面的需求。我們中心作為國家機關(guān)政府采購指定單位，每年承擔(dān)很多方面的測評工作。我們目前也遇到了很多瓶頸，因為產(chǎn)品剛成熟，相關(guān)方法標(biāo)準(zhǔn)和工具都比較缺失。另外是部隊，部隊是特殊行業(yè)軍用的，比如說航空閃存產(chǎn)品最多，考慮到重量、抗震和特殊的溫度環(huán)境，是非常關(guān)鍵的領(lǐng)域。隨著閃存跟國內(nèi)存儲企業(yè)發(fā)展成熟，去年我負(fù)責(zé)全軍首次自主光存儲設(shè)備測試與評價工作，基本上國內(nèi)存儲設(shè)備企業(yè)都參與其中。還有一些民用的測試，包括學(xué)校存儲方面科研成果的鑒定檢測，還有863項目或者科研項目的驗收，都是我們存儲的測評需求。

這是中央政府采購網(wǎng)的大型系統(tǒng)測試和評價，里面有很多，這只是簡單的舉例。這是去年首次做的自主存儲設(shè)備測試評估與規(guī)范，包括測試與評價。測試就是用具體的技術(shù)手段，去測性能指標(biāo)有沒有達(dá)到具體的要求。評價就是看是什么級別，跟別的相差多少，這樣的話才有總體的認(rèn)可。對于普通用戶或者使用者來說，根本就不需要了解那么深入的證書，通過這個結(jié)果就知道產(chǎn)品的質(zhì)量問題。

閃存產(chǎn)品的測試現(xiàn)狀，測試方面國內(nèi)跟國外可能不一樣，今天來了IOL實驗室的專家，國際上是自主型的組織，相關(guān)企業(yè)如果通過了驗證，兼容性或者性能可以做一些比較。國內(nèi)重點是國家認(rèn)監(jiān)委和認(rèn)可委管理，標(biāo)準(zhǔn)化和專業(yè)化比較強，管控國內(nèi)六七千家實驗室。里面測試需要具備的東西非常關(guān)鍵，人、機、料、法、環(huán)是主要的因素，但是閃存領(lǐng)域相關(guān)產(chǎn)品測試還是不太樂觀。首先是測試人員非常稀缺，包括華中科技大學(xué)出來的學(xué)生做測試非常少，在企業(yè)里面做測試的也非常少。如果在企業(yè)里面可能做得不太專業(yè)，不太全面。再就是機器，目前的情況重點是國外開元軟件工具或者存貯設(shè)備，對閃存的測試工具和設(shè)備不是太完善。如果有相關(guān)專業(yè)底層設(shè)備包括芯片的話，那是非常昂貴的。方法就是相關(guān)標(biāo)準(zhǔn)和技術(shù)方法沒有完成，有些部分還不健全。環(huán)境的話就是實驗室服務(wù)平臺沒有建起來，國內(nèi)好多企業(yè)的產(chǎn)品做出來，可能還需要送到國外去測試。

說到質(zhì)量離不開標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化就是相關(guān)標(biāo)準(zhǔn)規(guī)范。我們做了相關(guān)的跟蹤和研究，國外有部分測試方法，像耐久性測試、擴展，還有性能測試規(guī)范。國內(nèi)也做了一些成果，我們跟著行業(yè)做了一些標(biāo)準(zhǔn)。2010年華中科技大學(xué)聯(lián)合我們一起做了移動存儲閃存盤的通用規(guī)范，當(dāng)時是針對USB的產(chǎn)品規(guī)范。這兩年有兩個行標(biāo)，第一個是磁盤陣列通用規(guī)范，還有固態(tài)盤的通用規(guī)范。國標(biāo)的話是和存儲聯(lián)盟一起推了盤陣列通用規(guī)范，盤陣列包括閃存陣列和磁盤陣列。另外是今年剛發(fā)布也是我主導(dǎo)編寫的固體盤測試方法，2019年1月1日實施，涉及到性能、功能、可靠性、數(shù)據(jù)保持持久性等內(nèi)容。

半導(dǎo)體相關(guān)方面的測試標(biāo)準(zhǔn)，快閃存儲器也是國標(biāo)，還有非易失性存儲器耐久和數(shù)據(jù)保持，這幾個標(biāo)準(zhǔn)都是國內(nèi)今年發(fā)布的，半導(dǎo)體芯片產(chǎn)品一系列標(biāo)準(zhǔn)。還有其他方面團體標(biāo)準(zhǔn)，國內(nèi)有中國存儲產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟，我們是聯(lián)盟的指導(dǎo)單位，我也在主導(dǎo)做分布式全閃存存儲系統(tǒng)測試規(guī)范，整個體系標(biāo)準(zhǔn)規(guī)范研制過程中。部隊里面也在做閃存盤、固態(tài)盤、存儲設(shè)備等相關(guān)測試標(biāo)準(zhǔn)，這是國內(nèi)的測試現(xiàn)狀。

第三個內(nèi)容，講講閃存產(chǎn)品的質(zhì)量特性。閃存產(chǎn)品的質(zhì)量特性，其他的產(chǎn)品信息是一樣的，質(zhì)量關(guān)鍵是滿足需求，一般都要給予用戶需求去考慮。這些要求的話，定性的不太好評價，一定要有相應(yīng)的考核指標(biāo)，怎么樣評價和檢驗考核需要一定的質(zhì)量特性，質(zhì)量特性下面就轉(zhuǎn)化為我們的技術(shù)指標(biāo)。質(zhì)量特性就是指產(chǎn)品過程或者體系相關(guān)的要求，對閃存產(chǎn)品的測試評價技術(shù)，我們做了總結(jié)和分類，第一個是功能、性能、可靠性、易用性方面，多維度的綜合評測。我下面列了比較全面的測評體系，需要注意不同產(chǎn)品測評技術(shù)和指標(biāo)是不一樣的，像閃存陣列要評價橫向和縱向的擴展性，所以要考慮適用性的問題。

我們整理了一下，針對產(chǎn)品級別來說測評指標(biāo)體系的需求，第一個是功能，根據(jù)用戶的需求，剛才第二節(jié)評測是質(zhì)量特性，第三節(jié)叫做技術(shù)指標(biāo)。第二個是適用性，功能里面通訊協(xié)議怎么支持，數(shù)據(jù)加解密有沒有功能，實現(xiàn)得怎么樣，掉電保護功能有沒有實現(xiàn)，數(shù)據(jù)有沒有銷毀功能，都是根據(jù)功能的實現(xiàn)，實現(xiàn)了功能就要考慮性能，讀寫速率、數(shù)據(jù)傳輸率，在產(chǎn)品測試?yán)锩嬷攸c講的是與時間特性相關(guān)表現(xiàn)，一般都是帶上時間的質(zhì)量特性，標(biāo)準(zhǔn)方面的東西。第三個是可靠性，剛才有提到技術(shù)指標(biāo)，容錯性、數(shù)據(jù)保存時效、出錯率都是可靠性的子指標(biāo)。還有可用性，產(chǎn)品展示宣傳手冊經(jīng)?？吹娇煽啃远嗌?，可用性多少個9，其實這是沒有標(biāo)準(zhǔn)和規(guī)范，是不統(tǒng)一的表現(xiàn)。在規(guī)范化研究里面，多少個9是放在可用性的，多長時間里面容忍多久的宕機或者停機服務(wù)。另外還有兼容性，第一個是硬件的兼容，第二個是軟件的兼容。還有比較關(guān)鍵的信息安全性，它是大的學(xué)科和領(lǐng)域，重點講的是物理安全和邏輯安全。網(wǎng)絡(luò)通訊網(wǎng)絡(luò)信息安全，網(wǎng)絡(luò)空間安全不算產(chǎn)品質(zhì)量的特性。環(huán)境適應(yīng)性，氣侯適應(yīng)、機械環(huán)境這些非常關(guān)鍵，在應(yīng)用領(lǐng)域像產(chǎn)品涉及到高低溫情況，電源適應(yīng)也是非常關(guān)鍵的指標(biāo)，還有相關(guān)功耗等，簡單帶過一下。

具體講測試與評價，不講技術(shù)了，非常關(guān)鍵的指標(biāo)就是容量，我們買到的容量和企業(yè)產(chǎn)品標(biāo)注的容量可能不一樣，有的標(biāo)注容量多少個G，實際用的沒有那么多。對用戶來說相信哪個，G大B、G小B，都需要行業(yè)的標(biāo)準(zhǔn)和規(guī)范。還有掉電保護，掉電保護是一項功能，對用戶是可靠性的手段，包括單盤掉電和盤陣掉電。另外還有接口、通訊協(xié)議、數(shù)據(jù)加解密都是我們平常用到的。性能方面，性能一定要注意一個問題，所有的產(chǎn)品宣傳冊單獨只講結(jié)果的，行業(yè)里面有個笑話，不說應(yīng)用場景的都叫耍流氓，一定要明確測試環(huán)境，是大IO還是小IO，這樣才有可比性和參考性，不同產(chǎn)品性能需求不一樣。

可靠性，剛才講過了，容錯性需要我們重點注意，在測試當(dāng)中主要的測試方法就是故障注入測試，通過斷電、硬件故障、軟件故障，通過這些綜合性的方法檢測產(chǎn)品可靠性。

保存時效，通過測試的話，我們設(shè)計的條件比較嚴(yán)苛，要經(jīng)過不同環(huán)境的測試。還有MTBF，有的產(chǎn)品標(biāo)稱幾百萬MTBF，按說這個東西是比較難實現(xiàn)的，一般是理論和實際結(jié)合起來才可以出平均無故障間隔時間。下面還有插拔和開關(guān)測試。

可用性，對用戶來說能不能提供服務(wù)，這是非常關(guān)鍵的，跟可靠性經(jīng)常是混著用。故障的修復(fù)時間，存儲系統(tǒng)出了故障以后多久修復(fù)是用戶能接受的，我們提了ITO技術(shù)指標(biāo)。數(shù)據(jù)重構(gòu)時間、業(yè)務(wù)切換接管時間非常關(guān)鍵，不同業(yè)務(wù)需求注重的指標(biāo)不一樣。另外是我們說的多少個9。

兼容性，要考慮道不同的東西，接口、部件、整體，部件涉及到內(nèi)存、硬盤和板卡，軟件的話有驅(qū)動、協(xié)議、操作系統(tǒng)等。

信息安全是大家關(guān)注的重要內(nèi)容，這里面講的信息安全要規(guī)避網(wǎng)絡(luò)安全。我們現(xiàn)在講物理安全，特殊設(shè)備講可信的物理空間，安全環(huán)境有沒有涉秘空間，有沒有防拆裝。另外是安全保護裝置，盤陣可靠性提供，有沒有非易時性緩存，是BBU實現(xiàn)的還是UPS實現(xiàn)的，實現(xiàn)的能力有多強，這些是具體的技術(shù)指標(biāo)。軟件包括檢錯能力。還要講究邏輯安全，通過軟硬件手段實現(xiàn)傳輸和存儲安全，重點是保障數(shù)據(jù)的完整性、防篡改和機密性。

下面是環(huán)境適應(yīng)性的技術(shù)要求，大部分標(biāo)準(zhǔn)是國標(biāo)，還有強制性標(biāo)準(zhǔn)，是必須要滿足的要求，尤其是信息與設(shè)備，包括氣侯環(huán)境和機械環(huán)境。工作溫度和存儲溫度，機械環(huán)境也很多，振動沖擊、碰撞跌落。電磁兼容涉及到人身安全的重要領(lǐng)域，重點依據(jù)標(biāo)準(zhǔn)是國標(biāo)9254，它是強制標(biāo)準(zhǔn)，生產(chǎn)相關(guān)設(shè)備的話取得3C許可證才可以銷售，無線電騷擾、抗擾度、防靜電等。電源適應(yīng)性也是很重要的要求，重點從人身安全考慮的內(nèi)容，有一般要求、接觸電、抗電和安全的保護功能。另外是功耗，在我們的行標(biāo)里面提了產(chǎn)品的動態(tài)功耗和靜態(tài)功耗，存儲器SPC也提了功耗怎么測法。

這就是我介紹的整體內(nèi)容，希望產(chǎn)學(xué)研用各單位一起將測評體系進一步完善。國內(nèi)對測試不是太重視，但是隨著質(zhì)量強國，希望不要有外國月亮比中國圓的情況，一起保證國內(nèi)生產(chǎn)出有競爭力高質(zhì)量的閃存產(chǎn)品，這是我們的希望。謝謝各位聆聽。