基于SRAM的FPGA對于空間粒子輻射非常敏感，很容易產(chǎn)生軟故障，所以對基于FPGA的電子系統(tǒng)采取容錯措施以防止此類故障的出現(xiàn)是非常重要的。三模冗余(TMR)方法以其實(shí)現(xiàn)的簡單性和效果的可靠性而被廣泛用于對單粒子翻轉(zhuǎn)(SEL7)進(jìn)行容錯處理。但傳統(tǒng)TMR方法存在系統(tǒng)硬件資源消耗較多且功耗較大等問題?？偨Y(jié)了傳統(tǒng)TMR方法存在的問題，分析了一些近年來出現(xiàn)的改進(jìn)的TMR方法的優(yōu)劣，針對其存在問題指出了改進(jìn)策略，并展望了TMR技術(shù)的發(fā)展趨勢。

　　引言
 

　　軟故障是是由粒子和PN結(jié)相互作用引起的一種暫態(tài)故障，軟故障對在基于SRAM的FPGA上實(shí)現(xiàn)的電路具有特別嚴(yán)重的影響。由于三模冗余(Triple Modular Redundancy，TMR)技術(shù)簡單性以及高可靠性，它是一個被廣泛使用的針對于FPGA上的單粒子翻轉(zhuǎn)(Single-Event Upset，SEU)的容錯技術(shù)。文獻(xiàn)中表明TMR大幅度提高了FP-GA在SEU影響下的可靠性。盡管TMR能有效提高設(shè)計(jì)的可靠性，但是由于要實(shí)現(xiàn)額外的模塊與布線，它對硬件資源以及功耗消耗較大，而且工作速度也受到影響。這都限制了傳統(tǒng)TMR的使用。隨著電子技術(shù)特別是部分可重構(gòu)技術(shù)發(fā)展，出現(xiàn)了多種改進(jìn)的TMR技術(shù)，它們都針對性地解決了傳統(tǒng)TMR方法所存在的問題，使得TMR技術(shù)得到發(fā)展。本文首先介紹了傳統(tǒng)TMR的原理，接著總結(jié)了其所存在的問題，然后對改進(jìn)的TMR技術(shù)的優(yōu)劣進(jìn)行了全面的分析，最后對TMR技術(shù)發(fā)展趨勢進(jìn)行了展望。

　　1 常規(guī)TMR方法及存在的問題

　　TMR的基本概念是用三個相同的模塊分別實(shí)現(xiàn)相同的功能，最后在輸出口通過一個多數(shù)表決器對數(shù)據(jù)進(jìn)行選擇以實(shí)現(xiàn)容錯的目的。TMR的使用是建立在某一個時刻錯誤只出現(xiàn)在一個模塊里的基礎(chǔ)上，而實(shí)際上，因?yàn)樵诓煌哪K里同時出錯的概率是比較低的，而且實(shí)現(xiàn)過程直接、簡單，所以TMR是現(xiàn)在比較有效且被大量使用的一種容錯的方法。TMR主要被廣泛用于防止由輻射引起的SEU對系統(tǒng)的影響，由于它的使用使FPGA在SEU影響下的可靠性得到很大提高。常規(guī)TMR方法的基本結(jié)構(gòu)如圖1所示。

　　盡管TMR可以有效提高設(shè)計(jì)的可靠性，但是它也存在很多不足之處。主要有以下幾點(diǎn)：

　　(1)它不能對出錯的模塊進(jìn)行修復(fù)。當(dāng)一個模塊出錯后，我們只是將錯誤通過多數(shù)表決器屏蔽，但是錯誤模塊仍然存在。而且一般的TMR也不能對錯誤進(jìn)行檢測和定位，以便系統(tǒng)進(jìn)行修復(fù)。如果出現(xiàn)的錯誤得不到及時修復(fù)，那么當(dāng)再次出現(xiàn)錯誤時TMR將失效。

　　(2)很多研究只是考慮到單個錯誤的影響，而忽略了多個SEU同時出現(xiàn)的可能，盡管出現(xiàn)這種情況的概率較低，但卻是存在的。實(shí)驗(yàn)也表明TMR對減弱單個SEU產(chǎn)生的影響是非常有效的，但SEU在配置存儲器中積累會使效果降低。

　　(3)普通TMR資源開銷大，資源利用率低。普通TMR是對整個設(shè)計(jì)或者較大的模塊進(jìn)行三模冗余，粒度比較大，它的資源開銷相比原始電路增大200%。如果受到FPGA硬件資源和功耗等設(shè)計(jì)約束的限制不能對整個電路或者模塊實(shí)現(xiàn)TMR，那么會造成資源浪費(fèi)。

　　(4)由于電路的倍增使得功耗增大，而且由于表決器的存在以及其他一些額外的布線使得速度降低。

　　(5)表決器本身也可能出錯，而一般的TMR的表決器沒有自檢錯能力，也不具備抗輻射能力。

　　(6)當(dāng)采用三模冗余的電路驅(qū)動沒有采用冗余的電路時，需要一個表決器將三個信號合為一個信號。當(dāng)沒有采用冗余的電路驅(qū)動采用三模冗余的電路時需要通過額外的布線將一路信號擴(kuò)展稱為三路信號。因?yàn)檫壿嬰娐泛筒季€資源都對SEU敏感，所以這樣的結(jié)果會降低系統(tǒng)可靠性。

　　 2 改進(jìn)的TMR方法

　　2.1 TMR與Scrubbing結(jié)合

　　由于TMR本身不具備錯誤模塊修復(fù)能力，若僅一個模塊出現(xiàn)錯誤時，系統(tǒng)功能不受影響，但如果在另一個模塊出現(xiàn)錯誤前不能對已出現(xiàn)的錯誤模塊進(jìn)行修復(fù)，那么冗余方法會失效。所以當(dāng)出現(xiàn)一個錯誤的時候，必須及時地對出錯的模塊進(jìn)行修復(fù)。

　　隨著動態(tài)可重構(gòu)技術(shù)的發(fā)展，出現(xiàn)了Scrubbing這種對FPGA進(jìn)行配置的方法。由于對于空間電子系統(tǒng)來說影響最嚴(yán)重的是SEU等軟故障，而軟故障可以通過重構(gòu)來解決，所以周期性地對配置存儲器進(jìn)行刷新可以實(shí)現(xiàn)對這類錯誤的修復(fù)。

　　Scrubbing和TMR配合使用對防止SEU的產(chǎn)生可以起到很好的效果。但很多研究同樣只考慮到單個錯誤的影響，而忽略了多個SEU同時出現(xiàn)的可能性。理論上一個快速的刷新率可以保證某一時間內(nèi)只有一個錯誤的存在。然而實(shí)際中錯誤的出現(xiàn)是隨機(jī)的，這意味著任何刷新率都不能保證在一個刷新周期內(nèi)最多只出現(xiàn)一個錯誤。在實(shí)際中使用這種方法時，必須通過復(fù)雜的實(shí)驗(yàn)過程對SEU出現(xiàn)的概率進(jìn)行估計(jì)。選取Scru-bbing的刷新率的經(jīng)驗(yàn)原則是使刷新率比估算的出錯率高一個數(shù)量級。而現(xiàn)在隨著FPGA的規(guī)模越來越大，用來裝載整個配置位流的時間會達(dá)到幾百毫秒，刷新率更得不到保障，且系統(tǒng)功耗增大。

　　隨著部分TMR的實(shí)現(xiàn)，可以設(shè)計(jì)出具有檢錯和定位功能的表決器，當(dāng)某個模塊出錯時，表決器的信號直接觸發(fā)重構(gòu)功能，動態(tài)地只對出錯部分的電路進(jìn)行重構(gòu)。這樣可以解決Scrubbing時間和功耗的問題，并為防止錯誤積累提供了解決途徑。

　　為了防止表決器出錯，表決器可以采用對輻射不敏感的器件來實(shí)現(xiàn)而替代基于SRAM的材料，這樣提高了表決器的穩(wěn)健性。文獻(xiàn)也提出了一種改進(jìn)的表決器。它不再使用多數(shù)表決器對三個冗余模塊的輸出進(jìn)行表決，而是將三個冗余模塊相應(yīng)的輸出通過三態(tài)緩沖器和少數(shù)表決器后分別由FPGA的三個輸出管腳輸出，最后在印刷電路板(PCB)上“線或”為一個信號。少數(shù)表決器電路負(fù)責(zé)判斷本冗余模塊的信號是否是少數(shù)

　　值，如果是少數(shù)值，則相對應(yīng)的緩沖器輸出高阻，如果不是，則使相應(yīng)的信號正常輸出。

　　Readback是在Scrubbing的基礎(chǔ)上發(fā)展起來的。它是指將配置數(shù)據(jù)回讀與最初的配置數(shù)據(jù)進(jìn)行比較，發(fā)現(xiàn)錯誤后進(jìn)行重構(gòu)。文獻(xiàn)中使用了這樣的方法，另外它還采用了糾錯碼來保護(hù)配置數(shù)據(jù)。每一個配置幀的數(shù)據(jù)被12位的see-dec漢明碼保護(hù)，而且FPGA中每個基本單元的識別碼都不一樣，通過ICAP(InternalConfiguration Access Port)回讀配置文件后，糾錯碼可以給出錯位的位置。

　　Scrubbing可以在不中斷電路工作的情況下修復(fù)SEU在LUT、布線矩陣和CLB中所造成的功能錯誤。但是它不能改變LUT中觸發(fā)器中的內(nèi)容，所以它也就不能重置寄存器的狀態(tài)。當(dāng)存儲單元的值發(fā)生了翻轉(zhuǎn)，此時只能通過系統(tǒng)復(fù)位來得到修復(fù)。然而系統(tǒng)復(fù)位將使系統(tǒng)功能中斷，嚴(yán)重影響系統(tǒng)的性能。

　　2.2 小粒度TMR技術(shù)

　　隨著部分動態(tài)重構(gòu)技術(shù)的出現(xiàn)，產(chǎn)生了小粒度的TMR方法?？梢砸暂^小的粒度為步長，采用合理的布局與布線實(shí)現(xiàn)TMR以達(dá)到要求的資源開銷并得到最大的可靠性。文獻(xiàn)中對在出現(xiàn)多個錯誤的情況下不同粒度TMR的容錯性能進(jìn)行了實(shí)驗(yàn)分析，結(jié)果表明小粒度TMR比以整個系統(tǒng)為粒度進(jìn)行TMR的效果好。

　　在全局TMR不可行的情況下(例如資源有限)，小粒度TMR是一個較好的選擇，可以在使用較少資源的情況下提高系統(tǒng)的可靠性。由于不是對所有的模塊都采用冗余措施，所以在實(shí)現(xiàn)的時候必須著重于對那些可以相對更高地提高系統(tǒng)可靠性的模塊應(yīng)用TMR技術(shù)。此時表決器的數(shù)量和位置也是一個需要考慮的問題。由于采用三模冗余的模塊前后需要額外的布線，而邏輯電路和布線資源都對SEU敏感，所以這樣的結(jié)果會降低系統(tǒng)可靠性。如圖2所示，圖中陰影部分是對SEU敏感的，由圖可以看出(c)中敏感的部分比(b)中多，這是由于表決器和額外的布線造成的。所以需要限制三模冗余電路和未采用三模冗余的電路的轉(zhuǎn)變，這樣可以通過集中使用三模冗余技術(shù)而提高系統(tǒng)可靠性。

　　為了選擇需要進(jìn)行三模冗余的模塊并進(jìn)行合理的布局布線，將系統(tǒng)出現(xiàn)的錯誤分為持續(xù)性錯誤和非持續(xù)性錯誤。持續(xù)性的錯誤是指由SEU產(chǎn)生的改變了電路內(nèi)部狀態(tài)的錯誤;非持續(xù)性錯誤是指可以通過FPGA重構(gòu)而消除的錯誤，而持續(xù)性錯誤在重構(gòu)后依然存在。

　　結(jié)合以上的分析，實(shí)施部分TMR的優(yōu)先級別如下：

　　第一級是會產(chǎn)生持續(xù)性錯誤的部分。

　　第二級是會導(dǎo)致能產(chǎn)生連續(xù)性錯誤電路部分出錯的電路，以降低TMR和非TMR之間的轉(zhuǎn)換為準(zhǔn)則。

　　第三級是會產(chǎn)生持續(xù)性錯誤電路的前向部分，同樣以降低TMR和非TMR之間的轉(zhuǎn)換為準(zhǔn)則。

　　第四級是與會產(chǎn)生持續(xù)性錯誤電路部分獨(dú)立的部分。

　　可以通過靜態(tài)的分析來對電路進(jìn)行劃分。這里存在的問題是在標(biāo)準(zhǔn)的全局TMR中，所有的輸入、輸出以及時鐘都進(jìn)行了三模冗余，而使用部分TMR時，對I/O以及時鐘的冗余有可能不能被實(shí)現(xiàn)。和沒有采用TMR的邏輯電路一樣，沒有進(jìn)行TMR的時鐘和I/O同樣可以產(chǎn)生不能被檢測的錯誤。

　　由實(shí)驗(yàn)結(jié)果來看，由于此方法主要著重于能產(chǎn)生持續(xù)性錯誤的電路部分，所以當(dāng)所使用的冗余資源增多時，持續(xù)性的錯誤出現(xiàn)的幾率很快的降低，最終幾乎全部被克服掉。所以采用部分TMR可以在資源和可靠性間達(dá)到平衡，在最小限度影響可靠性的條件下，最大限度地提高資源利用率。

　　另外，一個翻轉(zhuǎn)有可能改變配置存儲器中控制布線的配置位，而使得兩個不同冗余模塊間的連線短路，這樣一個翻轉(zhuǎn)影響了TMR中不止一個模塊，導(dǎo)致輸出錯誤。而配置資源中的90%都用來控制布線，所以這個問題是需要考慮的。產(chǎn)生這種錯誤的可能性還依賴于TMR的布局，而TMR的布局直接依賴于多數(shù)表決器的數(shù)量。當(dāng)表決器增多時，模塊之間需要額外的連接，所以各模塊必須靠得很近，這樣使得一次翻轉(zhuǎn)導(dǎo)致模塊之間短路的可能性增加。為了降低會影響TMR穩(wěn)健性的產(chǎn)生改變布線的錯誤的可能性，必須最大可能地減少各個模塊之間的連接。如果多數(shù)表決器的數(shù)量可以被降下來，那么模塊之間的連接可以減少。

　　解決這個問題的方法是采用較大粒度的TMR以降低它們之間的連接，且表決器只應(yīng)用在電路輸出部分。但同時又出現(xiàn)了一個新的問題，例如為對存儲單元的狀態(tài)進(jìn)行修復(fù)，Xilinx提出了將表決器應(yīng)用在有寄存器的地方并加入反饋以糾正翻轉(zhuǎn)對寄存器中值的影響的XTMR方法，如果內(nèi)部的表決器被去掉，那么出錯部分存儲單元的錯誤將得不到糾正，所以重構(gòu)后它與其他模塊工作的狀態(tài)不同步。

　　文獻(xiàn)中解決這個問題的方法是通過從外部存儲器中讀取存儲的工作狀態(tài)。但是這個方法需要三個模塊離線后才能進(jìn)行狀態(tài)的存儲和重置進(jìn)而達(dá)到同步。顯然可行性不高，尤其是對實(shí)時性要求高的電路。

　　針對此問題，文獻(xiàn)提出了一種同步技術(shù)，該技術(shù)TMR系統(tǒng)中采用狀態(tài)寄存器復(fù)制機(jī)制，并在三個冗余模塊之間引入數(shù)據(jù)通路來傳輸狀態(tài)寄存器的數(shù)據(jù)。當(dāng)某一個冗余模塊發(fā)生故障被局部重構(gòu)后，能夠通過接受主控制器的令牌，從正常模塊復(fù)制狀態(tài)寄存器的數(shù)據(jù)來完成同步而及時地恢復(fù)工作。該方法縮短了故障模塊從修復(fù)到重新加入系統(tǒng)工作的時間，從而減小發(fā)生故障積累的概率，提高冗余系統(tǒng)的可靠性。

　　另一種方法是預(yù)測其他模塊最快會達(dá)到的狀態(tài)，然后對重構(gòu)后的模塊進(jìn)行狀態(tài)的預(yù)置。這時只需使要重構(gòu)的模塊停止工作而不影響其他兩個模塊的工作，當(dāng)工作模塊的狀態(tài)和預(yù)置的狀態(tài)同步時，三個模塊又一起工作。此時狀態(tài)選擇是一個問題，這個狀態(tài)到達(dá)的頻率必須很高，而且會在較快時間內(nèi)到達(dá)，另外多個狀態(tài)可以提高效率但同時會使預(yù)置信號寬度增加。

　　如果寄存器中狀態(tài)不可預(yù)測，例如寄存器鏈和加法器，那么不能使用這個方法，所以這種方法需要改進(jìn)以提高其適應(yīng)性。在TMR各模塊布線時，盡量將它們相隔有一定的距離，這樣也可以降低一個模塊出現(xiàn)錯誤后對其他模塊造成影響的可能性。2.3 基于對FPGA基本單元結(jié)構(gòu)改進(jìn)的TMR技術(shù)

　　因?yàn)門MR資源消耗較大，一般方法中由于布線以及表決器的實(shí)現(xiàn)，當(dāng)粒度越小耗費(fèi)的資源更多。文獻(xiàn)提出了一種比較新穎的小粒度的方法，它對基于SRAM的FPGA的結(jié)構(gòu)進(jìn)行了一些改變(LUT及CLB結(jié)構(gòu))，以小粒度來實(shí)現(xiàn)TMR但資源消耗卻得到降低。

　　文中選用Xilinx Virtex-5系列芯片。其基本結(jié)構(gòu)是由兩個5輸入的LUT實(shí)現(xiàn)的一個6輸入的LUT。如圖3所示。如果低五位輸入數(shù)據(jù)相同那么可以實(shí)現(xiàn)兩個5輸入的LUT。在有些情況下，只需要5輸入的LUT，此時另一個LUT沒有被使用。如果在布局時使其總滿足這種情況，那么可以用留下的資源來實(shí)現(xiàn)TMR。

　　一個TMR需要兩個LUT，而兩個TMR只需要三個LUT，需要在LUT內(nèi)部實(shí)現(xiàn)表決器、報(bào)錯電路以及其他的一些控制線，這增加了LUT內(nèi)部的布線和延遲。

　　這種方法的優(yōu)點(diǎn)是粒度減小，可靠性增加，資源消耗少，可通過檢錯和定位進(jìn)行有條件的重構(gòu)，減少了功耗和配置時間。實(shí)驗(yàn)結(jié)過表明，相比于傳統(tǒng)的小粒度的TMR，這種方法額外資源消耗只為76.5%，而傳統(tǒng)的則達(dá)到242%。

　　2.4 基于空間搜索方法的TMR技術(shù)

　　由于部分以及小粒度TMR的出現(xiàn)，在FPGA和設(shè)計(jì)約束的情況下，對粒度以及電路模塊的選擇是一個關(guān)鍵的問題，而往往只知道資源、功耗及可靠性等要求，實(shí)際的布局與實(shí)現(xiàn)是一個棘手的問題。文獻(xiàn)都提出了基于空間搜索的方法。這種方法是提供資源、功耗與可靠性等參數(shù)，在各種可能的解決方法中進(jìn)行搜索而得到最優(yōu)的結(jié)果。

　　2.5 基于時間的TMR技術(shù)

　　基于時間的基本思想是通過多次計(jì)算進(jìn)行故障屏蔽，是對相同的計(jì)算重復(fù)進(jìn)行兩次或者多次并比較結(jié)果以檢測和克服錯誤。當(dāng)對某一部分的電路得到一個結(jié)果后，暫時將其存儲起來，延遲一定時間后再進(jìn)行一次計(jì)算并輸出存儲，若比較結(jié)果不一致則出現(xiàn)了錯誤，此時再延遲相同的時間，將其輸出作為正確的結(jié)果輸出。

　　這種方法對于檢測瞬時故障很有效，但其容錯效果與延遲時間有關(guān)系。此方法實(shí)際上使用時間的延長換取了資源的節(jié)省，對于實(shí)時性較高的系統(tǒng)使用性較差。

　　2.6 基于軟、硬件冗余的TMR技術(shù)

　　對于在硬件上出現(xiàn)的不可修復(fù)的損壞，上面的方法將都會失效。此時對每個模塊中采用三個不同的版本的文件(一個使用，兩個備份)且每個模塊還有1/4的硬件冗余資源。如果出現(xiàn)了硬件故障，則首先用其他版本對其進(jìn)行重新配置，如果這樣問題還得不到解決，那么通過使用額外的冗余資源重新布局以繞過出錯的部分。但是由于對冗余資源及存儲單元的要求，這種方法進(jìn)一步增加了資源的消耗。

　　3 TMR技術(shù)發(fā)展展望

　　基于以上的分析，用圖4所示的框圖來描述TMR技術(shù)出現(xiàn)的問題與改進(jìn)方法之間的關(guān)系。由于硬件存在故障積累的問題，所以在系統(tǒng)可靠性的要求下產(chǎn)生出了多種新的基于TMR的解決辦法，不過這些技術(shù)都只是針對某些問題而提出的，它只解決了部分問題同時也帶來了一些新的問題，所以基于TMR的容錯技術(shù)仍然不夠成熟。

　　不過其中小粒度的TMR技術(shù)是一種靈活性很大的方法，它結(jié)合其他的一些方法可以在節(jié)約資源的基礎(chǔ)上達(dá)到較好的性能，基于小粒度的TMR的技術(shù)將會是TMR技術(shù)的一個主要發(fā)展方向，需要進(jìn)一步解決由于布線資源相對增多而對系統(tǒng)可靠性的影響。另外，由于小粒度TMR的實(shí)現(xiàn)需要對系統(tǒng)的各部分電路進(jìn)行選擇并進(jìn)行布局，所以TMR實(shí)現(xiàn)的自動化也是一個需要研究的方向。

　　4 結(jié)語

　　總結(jié)了TMR技術(shù)存在的突出問題，研究了這些新方法，分析了其優(yōu)勢以及存在的問題并指出了相應(yīng)的解決辦法。TMR技術(shù)的發(fā)展應(yīng)該以高效的實(shí)現(xiàn)方法及可靠性為方向，以穩(wěn)健的評估策略為基礎(chǔ)，根據(jù)所要達(dá)到的參數(shù)要求，以較高的自動化的方式在不同的粒度和布局上進(jìn)行權(quán)衡而得到最終的TMR解決方案。