國家計(jì)算機(jī)質(zhì)檢中心陽小珊：論閃存的質(zhì)量特性及測(cè)試與評(píng)價(jià)技術(shù)

目前，對(duì)閃存產(chǎn)品的測(cè)試和評(píng)價(jià)技術(shù)指標(biāo)主要從功能、性能、可靠性、易用性等方面進(jìn)行多維度綜合測(cè)評(píng)，而不同的產(chǎn)品形態(tài)，測(cè)評(píng)的技術(shù)指標(biāo)不一定相同。閃存作為行業(yè)高度認(rèn)可的未來存儲(chǔ)介質(zhì)，其質(zhì)量如何保障，是大家都需要考慮的問題，生產(chǎn)高質(zhì)量的國產(chǎn)閃存產(chǎn)品始終離不開嚴(yán)格的測(cè)試和標(biāo)準(zhǔn)的制定。

—— 國家計(jì)算機(jī)質(zhì)檢中心存儲(chǔ)測(cè)評(píng)實(shí)驗(yàn)室主任陽小珊

本文記錄陽小珊在2018全球存儲(chǔ)半導(dǎo)體大會(huì)暨全球閃存技術(shù)峰會(huì)上的演講實(shí)錄，主題：《閃存的質(zhì)量特性及測(cè)試與評(píng)價(jià)技術(shù)》。陽小珊分別從對(duì)當(dāng)前閃存市場的產(chǎn)品質(zhì)量、產(chǎn)業(yè)發(fā)展?fàn)顩r以及有關(guān)閃存的測(cè)試與評(píng)價(jià)內(nèi)容進(jìn)行了深入分析。

以下為演講實(shí)錄：

我的演講首先涉及到閃存產(chǎn)品的質(zhì)量。作為用戶和普通第二方、第三方怎么評(píng)價(jià)這個(gè)產(chǎn)品是非常關(guān)鍵的，所以題目重點(diǎn)是閃存質(zhì)量特性及測(cè)試評(píng)價(jià)。主要從這幾個(gè)方面來講，第一是質(zhì)量與產(chǎn)業(yè)鏈的關(guān)系，第二是閃存及測(cè)試現(xiàn)狀，主要是國內(nèi)現(xiàn)狀，第三是閃存的質(zhì)量特性，從多個(gè)方面評(píng)價(jià)產(chǎn)品，第四是測(cè)試與評(píng)價(jià)。這個(gè)題目原來是在設(shè)計(jì)的時(shí)候后面加了技術(shù)，因?yàn)樯婕暗轿抑v的面比較廣，所以不需要深入講測(cè)評(píng)技術(shù)。

第一個(gè)方面是質(zhì)量內(nèi)容，首先重點(diǎn)講一下質(zhì)量和國家發(fā)展的關(guān)系。質(zhì)量，進(jìn)入二十一世紀(jì)以來，行業(yè)和國家都非常關(guān)注質(zhì)量的內(nèi)容。作為國家級(jí)戰(zhàn)略，這部分已經(jīng)寫入十九大報(bào)告。質(zhì)量報(bào)告包括四方面的內(nèi)容，第一是產(chǎn)品質(zhì)量是堅(jiān)石的基礎(chǔ)，也就是說芯片，包括上面的應(yīng)用產(chǎn)品是我們的重點(diǎn)。然后是質(zhì)量保障、質(zhì)量提升和質(zhì)量監(jiān)管，關(guān)于第四部分質(zhì)量監(jiān)管目前是國內(nèi)改革的重點(diǎn)，行政許可基本放權(quán)，測(cè)試和評(píng)價(jià)是后面重要的監(jiān)管手段，事前事中事后，通過后面的質(zhì)量監(jiān)管體現(xiàn)服務(wù)質(zhì)量。

測(cè)試和質(zhì)量的關(guān)系，談到質(zhì)量肯定離不開測(cè)試，測(cè)試對(duì)我們的技術(shù)研究、產(chǎn)品設(shè)計(jì)、產(chǎn)品制造和產(chǎn)品應(yīng)用都是非常關(guān)鍵的，對(duì)我們最終的用戶來說，產(chǎn)品的應(yīng)用非常關(guān)鍵，所以里面涉及到不同的測(cè)試方案都不一樣，是整個(gè)產(chǎn)業(yè)生態(tài)鏈中不可缺失的重要環(huán)節(jié)。測(cè)試在我們企業(yè)產(chǎn)品生產(chǎn)過程中是重要的保障手段，也是發(fā)現(xiàn)產(chǎn)品問題、提升產(chǎn)品質(zhì)量的重要手段。測(cè)試需求我們都知道，測(cè)試不僅僅說普通的用戶需要，第一方需要，第二方需要，第三方也需要，第三方就是我們目前主要做的工作，做質(zhì)量鑒定、認(rèn)可、發(fā)證這些方面的工作。

談到質(zhì)量離不開標(biāo)準(zhǔn)，標(biāo)準(zhǔn)在產(chǎn)業(yè)發(fā)展中的地位不可動(dòng)搖，具體表現(xiàn)在支撐性、戰(zhàn)略性和基礎(chǔ)性。標(biāo)準(zhǔn)是保證產(chǎn)品質(zhì)量的重要依據(jù)，也是調(diào)整產(chǎn)業(yè)結(jié)構(gòu)的杠桿，更是科技成果轉(zhuǎn)化的橋梁。技術(shù)形成以后怎么才能形成產(chǎn)業(yè)標(biāo)準(zhǔn)指導(dǎo)產(chǎn)業(yè)發(fā)展是非常重要的，只要標(biāo)準(zhǔn)化出來引導(dǎo)標(biāo)準(zhǔn)。尤其是現(xiàn)在很火的5G，誰能引導(dǎo)標(biāo)準(zhǔn)，這在國際上的競爭是非常重要的。

存儲(chǔ)產(chǎn)品對(duì)整個(gè)信息化發(fā)展具有非常重大的促進(jìn)作用，是基礎(chǔ)產(chǎn)品。目前物聯(lián)網(wǎng)、大數(shù)據(jù)需求很旺，但是我們國內(nèi)的情況不是太樂觀，起步比較晚，技術(shù)比較低，知識(shí)產(chǎn)權(quán)相對(duì)比較少，缺少關(guān)鍵的核心技術(shù)。閃存作為未來發(fā)展的重要存儲(chǔ)設(shè)備，它的地位不可動(dòng)搖。整個(gè)行業(yè)怎么把質(zhì)量提升上來，如何保證用戶的使用，是大家都需要共同考慮的問題。

下面我講一下測(cè)試的現(xiàn)狀。既然講到測(cè)試的話，需要有標(biāo)準(zhǔn)和方法，要明確產(chǎn)品的類型，我這里講閃存測(cè)試是針對(duì)閃存的相關(guān)產(chǎn)品。在行業(yè)里面目前分了幾大產(chǎn)品類型，第一是閃存卡，我們經(jīng)常用到，也是比較成熟的。第二是固態(tài)盤，閃存盤也歸在里面，產(chǎn)品不一樣，標(biāo)準(zhǔn)方法也不一樣。第三是閃存陣列，這是對(duì)特殊應(yīng)用來說的，包括混合陣列和全閃陣列等等。第四是閃存系統(tǒng)，就是上層的應(yīng)用產(chǎn)品，包括具有閃存的軟硬件系統(tǒng)，像固態(tài)盤、閃存介質(zhì)、閃存文件管理系統(tǒng)等方面的內(nèi)容。

還有非常關(guān)鍵的測(cè)試跟產(chǎn)業(yè)鏈的關(guān)系，剛才簡單講了。測(cè)試其實(shí)是廣泛和深入的學(xué)科，里面涉及到的東西很多，第一是評(píng)測(cè)指標(biāo)體系。剛才陳教授講可靠性的話，可靠性其實(shí)是非常廣泛和深入的評(píng)價(jià)體系和指標(biāo)體系，對(duì)應(yīng)的方法和標(biāo)準(zhǔn)、服務(wù)測(cè)試都不一樣，里面的內(nèi)容很多。測(cè)試體系大的三個(gè)方面去研究，第一是測(cè)評(píng)指標(biāo)體系，先要測(cè)試它，這個(gè)產(chǎn)品的質(zhì)量要做評(píng)價(jià)指標(biāo)體系。第二是針對(duì)不同產(chǎn)品和不同指標(biāo)設(shè)計(jì)相關(guān)方面，研制相關(guān)標(biāo)準(zhǔn)。最后是相關(guān)的測(cè)試工具進(jìn)行測(cè)評(píng)服務(wù)，所以涉及到整個(gè)產(chǎn)業(yè)鏈里面的關(guān)鍵技術(shù)研究。在新技術(shù)研究的時(shí)候，都需要這些指標(biāo)和方法去驗(yàn)證，包括測(cè)試儀器和工具。產(chǎn)品模型設(shè)計(jì)，產(chǎn)品生產(chǎn)制造是比較關(guān)鍵的，會(huì)涉及到定型檢測(cè)、出廠檢測(cè)，這是軟件間的提升，再就是生產(chǎn)和應(yīng)用的表現(xiàn)。

接下來講閃存國內(nèi)的測(cè)評(píng)需求，針對(duì)國內(nèi)產(chǎn)品類型的分類，我通過多年的測(cè)試情況整理了一些測(cè)試分類。第一個(gè)是市場上的需求，目前民用測(cè)試需求很廣，在市場上作為第三方經(jīng)常幫助用戶買存儲(chǔ)設(shè)備，閃存卡、閃存盤，容量不夠、性能出問題、可靠性出問題的鑒定檢測(cè)。第二是消費(fèi)者協(xié)會(huì)威權(quán)檢測(cè)，國內(nèi)有12315質(zhì)量協(xié)會(huì)。第三是政府的采購，重點(diǎn)是對(duì)專業(yè)領(lǐng)域大的存儲(chǔ)系統(tǒng)購買。隨著閃存產(chǎn)品的成熟，海量級(jí)閃存產(chǎn)品替代作為政府關(guān)鍵采購設(shè)備，有些替代傳統(tǒng)滿足性能，可靠性功能等各方面的需求。我們中心作為國家機(jī)關(guān)政府采購指定單位，每年承擔(dān)很多方面的測(cè)評(píng)工作。我們目前也遇到了很多瓶頸，因?yàn)楫a(chǎn)品剛成熟，相關(guān)方法標(biāo)準(zhǔn)和工具都比較缺失。另外是部隊(duì)，部隊(duì)是特殊行業(yè)軍用的，比如說航空閃存產(chǎn)品最多，考慮到重量、抗震和特殊的溫度環(huán)境，是非常關(guān)鍵的領(lǐng)域。隨著閃存跟國內(nèi)存儲(chǔ)企業(yè)發(fā)展成熟，去年我負(fù)責(zé)全軍首次自主光存儲(chǔ)設(shè)備測(cè)試與評(píng)價(jià)工作，基本上國內(nèi)存儲(chǔ)設(shè)備企業(yè)都參與其中。還有一些民用的測(cè)試，包括學(xué)校存儲(chǔ)方面科研成果的鑒定檢測(cè)，還有863項(xiàng)目或者科研項(xiàng)目的驗(yàn)收，都是我們存儲(chǔ)的測(cè)評(píng)需求。

這是中央政府采購網(wǎng)的大型系統(tǒng)測(cè)試和評(píng)價(jià)，里面有很多，這只是簡單的舉例。這是去年首次做的自主存儲(chǔ)設(shè)備測(cè)試評(píng)估與規(guī)范，包括測(cè)試與評(píng)價(jià)。測(cè)試就是用具體的技術(shù)手段，去測(cè)性能指標(biāo)有沒有達(dá)到具體的要求。評(píng)價(jià)就是看是什么級(jí)別，跟別的相差多少，這樣的話才有總體的認(rèn)可。對(duì)于普通用戶或者使用者來說，根本就不需要了解那么深入的證書，通過這個(gè)結(jié)果就知道產(chǎn)品的質(zhì)量問題。

閃存產(chǎn)品的測(cè)試現(xiàn)狀，測(cè)試方面國內(nèi)跟國外可能不一樣，今天來了IOL實(shí)驗(yàn)室的專家，國際上是自主型的組織，相關(guān)企業(yè)如果通過了驗(yàn)證，兼容性或者性能可以做一些比較。國內(nèi)重點(diǎn)是國家認(rèn)監(jiān)委和認(rèn)可委管理，標(biāo)準(zhǔn)化和專業(yè)化比較強(qiáng)，管控國內(nèi)六七千家實(shí)驗(yàn)室。里面測(cè)試需要具備的東西非常關(guān)鍵，人、機(jī)、料、法、環(huán)是主要的因素，但是閃存領(lǐng)域相關(guān)產(chǎn)品測(cè)試還是不太樂觀。首先是測(cè)試人員非常稀缺，包括華中科技大學(xué)出來的學(xué)生做測(cè)試非常少，在企業(yè)里面做測(cè)試的也非常少。如果在企業(yè)里面可能做得不太專業(yè)，不太全面。再就是機(jī)器，目前的情況重點(diǎn)是國外開元軟件工具或者存貯設(shè)備，對(duì)閃存的測(cè)試工具和設(shè)備不是太完善。如果有相關(guān)專業(yè)底層設(shè)備包括芯片的話，那是非常昂貴的。方法就是相關(guān)標(biāo)準(zhǔn)和技術(shù)方法沒有完成，有些部分還不健全。環(huán)境的話就是實(shí)驗(yàn)室服務(wù)平臺(tái)沒有建起來，國內(nèi)好多企業(yè)的產(chǎn)品做出來，可能還需要送到國外去測(cè)試。

說到質(zhì)量離不開標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化就是相關(guān)標(biāo)準(zhǔn)規(guī)范。我們做了相關(guān)的跟蹤和研究，國外有部分測(cè)試方法，像耐久性測(cè)試、擴(kuò)展，還有性能測(cè)試規(guī)范。國內(nèi)也做了一些成果，我們跟著行業(yè)做了一些標(biāo)準(zhǔn)。2010年華中科技大學(xué)聯(lián)合我們一起做了移動(dòng)存儲(chǔ)閃存盤的通用規(guī)范，當(dāng)時(shí)是針對(duì)USB的產(chǎn)品規(guī)范。這兩年有兩個(gè)行標(biāo)，第一個(gè)是磁盤陣列通用規(guī)范，還有固態(tài)盤的通用規(guī)范。國標(biāo)的話是和存儲(chǔ)聯(lián)盟一起推了盤陣列通用規(guī)范，盤陣列包括閃存陣列和磁盤陣列。另外是今年剛發(fā)布也是我主導(dǎo)編寫的固體盤測(cè)試方法，2019年1月1日實(shí)施，涉及到性能、功能、可靠性、數(shù)據(jù)保持持久性等內(nèi)容。

半導(dǎo)體相關(guān)方面的測(cè)試標(biāo)準(zhǔn)，快閃存儲(chǔ)器也是國標(biāo)，還有非易失性存儲(chǔ)器耐久和數(shù)據(jù)保持，這幾個(gè)標(biāo)準(zhǔn)都是國內(nèi)今年發(fā)布的，半導(dǎo)體芯片產(chǎn)品一系列標(biāo)準(zhǔn)。還有其他方面團(tuán)體標(biāo)準(zhǔn)，國內(nèi)有中國存儲(chǔ)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟，我們是聯(lián)盟的指導(dǎo)單位，我也在主導(dǎo)做分布式全閃存存儲(chǔ)系統(tǒng)測(cè)試規(guī)范，整個(gè)體系標(biāo)準(zhǔn)規(guī)范研制過程中。部隊(duì)里面也在做閃存盤、固態(tài)盤、存儲(chǔ)設(shè)備等相關(guān)測(cè)試標(biāo)準(zhǔn)，這是國內(nèi)的測(cè)試現(xiàn)狀。

第三個(gè)內(nèi)容，講講閃存產(chǎn)品的質(zhì)量特性。閃存產(chǎn)品的質(zhì)量特性，其他的產(chǎn)品信息是一樣的，質(zhì)量關(guān)鍵是滿足需求，一般都要給予用戶需求去考慮。這些要求的話，定性的不太好評(píng)價(jià)，一定要有相應(yīng)的考核指標(biāo)，怎么樣評(píng)價(jià)和檢驗(yàn)考核需要一定的質(zhì)量特性，質(zhì)量特性下面就轉(zhuǎn)化為我們的技術(shù)指標(biāo)。質(zhì)量特性就是指產(chǎn)品過程或者體系相關(guān)的要求，對(duì)閃存產(chǎn)品的測(cè)試評(píng)價(jià)技術(shù)，我們做了總結(jié)和分類，第一個(gè)是功能、性能、可靠性、易用性方面，多維度的綜合評(píng)測(cè)。我下面列了比較全面的測(cè)評(píng)體系，需要注意不同產(chǎn)品測(cè)評(píng)技術(shù)和指標(biāo)是不一樣的，像閃存陣列要評(píng)價(jià)橫向和縱向的擴(kuò)展性，所以要考慮適用性的問題。

我們整理了一下，針對(duì)產(chǎn)品級(jí)別來說測(cè)評(píng)指標(biāo)體系的需求，第一個(gè)是功能，根據(jù)用戶的需求，剛才第二節(jié)評(píng)測(cè)是質(zhì)量特性，第三節(jié)叫做技術(shù)指標(biāo)。第二個(gè)是適用性，功能里面通訊協(xié)議怎么支持，數(shù)據(jù)加解密有沒有功能，實(shí)現(xiàn)得怎么樣，掉電保護(hù)功能有沒有實(shí)現(xiàn)，數(shù)據(jù)有沒有銷毀功能，都是根據(jù)功能的實(shí)現(xiàn)，實(shí)現(xiàn)了功能就要考慮性能，讀寫速率、數(shù)據(jù)傳輸率，在產(chǎn)品測(cè)試?yán)锩嬷攸c(diǎn)講的是與時(shí)間特性相關(guān)表現(xiàn)，一般都是帶上時(shí)間的質(zhì)量特性，標(biāo)準(zhǔn)方面的東西。第三個(gè)是可靠性，剛才有提到技術(shù)指標(biāo)，容錯(cuò)性、數(shù)據(jù)保存時(shí)效、出錯(cuò)率都是可靠性的子指標(biāo)。還有可用性，產(chǎn)品展示宣傳手冊(cè)經(jīng)?？吹娇煽啃远嗌?，可用性多少個(gè)9，其實(shí)這是沒有標(biāo)準(zhǔn)和規(guī)范，是不統(tǒng)一的表現(xiàn)。在規(guī)范化研究里面，多少個(gè)9是放在可用性的，多長時(shí)間里面容忍多久的宕機(jī)或者停機(jī)服務(wù)。另外還有兼容性，第一個(gè)是硬件的兼容，第二個(gè)是軟件的兼容。還有比較關(guān)鍵的信息安全性，它是大的學(xué)科和領(lǐng)域，重點(diǎn)講的是物理安全和邏輯安全。網(wǎng)絡(luò)通訊網(wǎng)絡(luò)信息安全，網(wǎng)絡(luò)空間安全不算產(chǎn)品質(zhì)量的特性。環(huán)境適應(yīng)性，氣侯適應(yīng)、機(jī)械環(huán)境這些非常關(guān)鍵，在應(yīng)用領(lǐng)域像產(chǎn)品涉及到高低溫情況，電源適應(yīng)也是非常關(guān)鍵的指標(biāo)，還有相關(guān)功耗等，簡單帶過一下。

具體講測(cè)試與評(píng)價(jià)，不講技術(shù)了，非常關(guān)鍵的指標(biāo)就是容量，我們買到的容量和企業(yè)產(chǎn)品標(biāo)注的容量可能不一樣，有的標(biāo)注容量多少個(gè)G，實(shí)際用的沒有那么多。對(duì)用戶來說相信哪個(gè)，G大B、G小B，都需要行業(yè)的標(biāo)準(zhǔn)和規(guī)范。還有掉電保護(hù)，掉電保護(hù)是一項(xiàng)功能，對(duì)用戶是可靠性的手段，包括單盤掉電和盤陣掉電。另外還有接口、通訊協(xié)議、數(shù)據(jù)加解密都是我們平常用到的。性能方面，性能一定要注意一個(gè)問題，所有的產(chǎn)品宣傳冊(cè)單獨(dú)只講結(jié)果的，行業(yè)里面有個(gè)笑話，不說應(yīng)用場景的都叫耍流氓，一定要明確測(cè)試環(huán)境，是大IO還是小IO，這樣才有可比性和參考性，不同產(chǎn)品性能需求不一樣。

可靠性，剛才講過了，容錯(cuò)性需要我們重點(diǎn)注意，在測(cè)試當(dāng)中主要的測(cè)試方法就是故障注入測(cè)試，通過斷電、硬件故障、軟件故障，通過這些綜合性的方法檢測(cè)產(chǎn)品可靠性。

保存時(shí)效，通過測(cè)試的話，我們?cè)O(shè)計(jì)的條件比較嚴(yán)苛，要經(jīng)過不同環(huán)境的測(cè)試。還有MTBF，有的產(chǎn)品標(biāo)稱幾百萬MTBF，按說這個(gè)東西是比較難實(shí)現(xiàn)的，一般是理論和實(shí)際結(jié)合起來才可以出平均無故障間隔時(shí)間。下面還有插拔和開關(guān)測(cè)試。

可用性，對(duì)用戶來說能不能提供服務(wù)，這是非常關(guān)鍵的，跟可靠性經(jīng)常是混著用。故障的修復(fù)時(shí)間，存儲(chǔ)系統(tǒng)出了故障以后多久修復(fù)是用戶能接受的，我們提了ITO技術(shù)指標(biāo)。數(shù)據(jù)重構(gòu)時(shí)間、業(yè)務(wù)切換接管時(shí)間非常關(guān)鍵，不同業(yè)務(wù)需求注重的指標(biāo)不一樣。另外是我們說的多少個(gè)9。

兼容性，要考慮道不同的東西，接口、部件、整體，部件涉及到內(nèi)存、硬盤和板卡，軟件的話有驅(qū)動(dòng)、協(xié)議、操作系統(tǒng)等。

信息安全是大家關(guān)注的重要內(nèi)容，這里面講的信息安全要規(guī)避網(wǎng)絡(luò)安全。我們現(xiàn)在講物理安全，特殊設(shè)備講可信的物理空間，安全環(huán)境有沒有涉秘空間，有沒有防拆裝。另外是安全保護(hù)裝置，盤陣可靠性提供，有沒有非易時(shí)性緩存，是BBU實(shí)現(xiàn)的還是UPS實(shí)現(xiàn)的，實(shí)現(xiàn)的能力有多強(qiáng)，這些是具體的技術(shù)指標(biāo)。軟件包括檢錯(cuò)能力。還要講究邏輯安全，通過軟硬件手段實(shí)現(xiàn)傳輸和存儲(chǔ)安全，重點(diǎn)是保障數(shù)據(jù)的完整性、防篡改和機(jī)密性。

下面是環(huán)境適應(yīng)性的技術(shù)要求，大部分標(biāo)準(zhǔn)是國標(biāo)，還有強(qiáng)制性標(biāo)準(zhǔn)，是必須要滿足的要求，尤其是信息與設(shè)備，包括氣侯環(huán)境和機(jī)械環(huán)境。工作溫度和存儲(chǔ)溫度，機(jī)械環(huán)境也很多，振動(dòng)沖擊、碰撞跌落。電磁兼容涉及到人身安全的重要領(lǐng)域，重點(diǎn)依據(jù)標(biāo)準(zhǔn)是國標(biāo)9254，它是強(qiáng)制標(biāo)準(zhǔn)，生產(chǎn)相關(guān)設(shè)備的話取得3C許可證才可以銷售，無線電騷擾、抗擾度、防靜電等。電源適應(yīng)性也是很重要的要求，重點(diǎn)從人身安全考慮的內(nèi)容，有一般要求、接觸電、抗電和安全的保護(hù)功能。另外是功耗，在我們的行標(biāo)里面提了產(chǎn)品的動(dòng)態(tài)功耗和靜態(tài)功耗，存儲(chǔ)器SPC也提了功耗怎么測(cè)法。

這就是我介紹的整體內(nèi)容，希望產(chǎn)學(xué)研用各單位一起將測(cè)評(píng)體系進(jìn)一步完善。國內(nèi)對(duì)測(cè)試不是太重視，但是隨著質(zhì)量強(qiáng)國，希望不要有外國月亮比中國圓的情況，一起保證國內(nèi)生產(chǎn)出有競爭力高質(zhì)量的閃存產(chǎn)品，這是我們的希望。謝謝各位聆聽。