0 引言

    憶阻器是由物理學(xué)家蔡少棠教授在1971年提出的第四種電路基本元器件，其憶阻值聯(lián)系磁通量和電荷量兩個電路參量^[1]。由于其非易失性（憶阻值可以存儲起來）、憶阻值可通過對器件端壓的調(diào)制實現(xiàn)連續(xù)變化等優(yōu)點，可作為神經(jīng)元突觸來構(gòu)建神經(jīng)網(wǎng)絡(luò)^[2]。

    研究發(fā)現(xiàn)同一個憶阻器在相同的驅(qū)動下測得的多條傳輸特性曲線之間存在差異；相同制造工藝下，不同憶阻器的性能也不一樣，即憶阻器件的性能并不穩(wěn)定^[3]。這些穩(wěn)定性問題會對憶阻神經(jīng)網(wǎng)絡(luò)的收斂速度和功能實現(xiàn)產(chǎn)生影響。

    本文的研究目的是基于一種具有等效電阻拓?fù)浣Y(jié)構(gòu)的憶阻器模型，探究憶阻器穩(wěn)定性問題對憶阻神經(jīng)網(wǎng)絡(luò)性能的影響，從而得出在保證憶阻神經(jīng)網(wǎng)絡(luò)性能的前提下模型參數(shù)的允許波動范圍。根據(jù)憶阻器模型參數(shù)的意義，映射到器件工藝層次的參量波動，為憶阻器件的工藝制造和選型提供參考。

1 憶阻器模型及穩(wěn)定性仿真

    本文采用了一種具有等效電阻拓?fù)浣Y(jié)構(gòu)的憶阻器模型，該模型不僅能描述憶阻器的傳輸特性，而且能準(zhǔn)確描述憶阻器的不穩(wěn)定現(xiàn)象。通過設(shè)置波動的憶阻器參數(shù)，模擬憶阻器的不穩(wěn)定性，為憶阻神經(jīng)網(wǎng)絡(luò)的搭建做準(zhǔn)備。

1.1 憶阻器模型

    隨著憶阻器研究的發(fā)展，很多證據(jù)表明憶阻器的電阻轉(zhuǎn)換現(xiàn)象是由于器件中作為導(dǎo)電通道的導(dǎo)電絲的形成和消失造成的^[4]，外加電壓控制著導(dǎo)電絲的形成和消失，這樣就可以把憶阻器劃分為通道區(qū)域和無通道區(qū)域，導(dǎo)電通道則包括高阻和低阻區(qū)域，然后再通過一個合適的拓?fù)浣Y(jié)構(gòu)將這若干個通道結(jié)合起來，這就是本文使用的憶阻器模型^[5]。其示意圖及數(shù)學(xué)模型簡化過程如圖1所示。圖(a)為憶阻器件結(jié)構(gòu)圖，可等效為圖(b)，其中由斜劃線填充的柱體表示無通道區(qū)域，阻值遠(yuǎn)大于有通道區(qū)域(其他柱體)，故由于并聯(lián)可進(jìn)一步簡化為圖(c)。

    基于上述模型的數(shù)學(xué)表達(dá)式如下，假設(shè)在憶阻器中存在N個導(dǎo)電通道，即圖1(c)中的通道數(shù)，R_l表示低阻區(qū)域完全占據(jù)通道時一個導(dǎo)電通道的阻值；R_h表示高阻區(qū)域完全占據(jù)通道時一個導(dǎo)電通道的阻值。D為導(dǎo)電通道的總長度，X_i為低阻區(qū)域占據(jù)通道的長度(X_i≤D)。

    所以，第i個導(dǎo)電通道的憶阻值為：

其中，C_i指定一個統(tǒng)計分布來描述在憶阻器中導(dǎo)電通道長度的不均勻性，θ和α決定通道的初始狀態(tài)，θ用來調(diào)制C_i以給出合適的初值，α則對其進(jìn)行進(jìn)一步的調(diào)控；γ₀用來對通道初始長度進(jìn)行微調(diào)；β和λ則描述隨著磁通量(偏壓v(t)對時間t的積分)的積累，導(dǎo)電通道的動態(tài)變化過程。

    將式(5)、式(6)、式(7)帶入式(4)得憶阻值M：

1.2 憶阻器穩(wěn)定性仿真

    將上述模型應(yīng)用于一個Pt/TiO₂/TiO_2+x/Pt結(jié)構(gòu)的實際憶阻器件中，對各項參數(shù)設(shè)值為：D=20 nm，R_off=1.39 kΩ，R_on=25 Ω，N=20。θ=0.05和α=1決定初始導(dǎo)電通道長度及其分布，γ₀=-5.9對初始長度進(jìn)行微調(diào)。λ=5.76和β=1將狀態(tài)轉(zhuǎn)換速度限制在一個比較低的水平，這種情況下憶阻值只能在25 Ω~220.71 Ω的范圍內(nèi)變化，通過MATLAB仿真得到該模型在周期性電壓下I-V特性曲線，即如圖2中所示β=1對應(yīng)的曲線。

    該伏安特性曲線的形狀表現(xiàn)為滯回曲線，而且憶阻值隨時間變化的趨勢與憶阻器相同，在后文中，以該憶阻器模型各參數(shù)的取值變化來模擬憶阻器的不穩(wěn)定性。圖2為參數(shù)β不同取值時憶阻器的傳輸特性曲線，其他參數(shù)α、γ₀、λ不同取值時與之類似。這種對憶阻器不穩(wěn)定性的模擬結(jié)果與YANG J J等人搭建的憶阻器測試得到的不穩(wěn)定性表現(xiàn)類似^[6]，說明該模型可以作為憶阻器件的仿真模型。

2 憶阻BP神經(jīng)網(wǎng)絡(luò)設(shè)計與實現(xiàn)

    為了探究憶阻器的穩(wěn)定性對憶阻神經(jīng)網(wǎng)絡(luò)的收斂速度和準(zhǔn)確性的影響，搭建了一個三層的憶阻BP神經(jīng)網(wǎng)絡(luò)，并用手寫數(shù)據(jù)集MNIST進(jìn)行訓(xùn)練和測試。

2.1 憶阻BP神經(jīng)網(wǎng)絡(luò)MATLAB實現(xiàn)

    本文中使用MNIST數(shù)據(jù)集^[7]搭建3層全連接憶阻BP神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)為：輸入層785個節(jié)點(圖片28×28個輸入節(jié)點和一個偏置點)，隱藏層130個節(jié)點，輸出層10個節(jié)點，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，隱藏層節(jié)點及輸出層節(jié)點激活函數(shù)均為logistic函數(shù)^[8]。

    即用權(quán)值變化量等效磁通量積累（磁通量積累由電壓v(t)隨時間t的積分得到），對憶阻值即權(quán)值進(jìn)行更新。

2.2 憶阻BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練與測試

    不考慮憶阻器模型中的參數(shù)波動，設(shè)參數(shù)α=1，β=1，γ₀=-5.9，λ=5.76，對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練及測試，圖4為基于MNIST數(shù)據(jù)集訓(xùn)練的收斂過程，識別率在訓(xùn)練次數(shù)超過600次之后變化不顯著；訓(xùn)練1 500次之后測試識別率為94.32%。由訓(xùn)練記錄數(shù)據(jù)知，訓(xùn)練次數(shù)超過573次之后，模型能夠?qū)τ?xùn)練集中超過56 000組數(shù)據(jù)進(jìn)行正確的分類，此時測試識別率為93.35%左右，這個結(jié)果將作為后續(xù)考慮憶阻器性能波動時的對照組。

3 憶阻神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析

    本節(jié)主要分析憶阻器模型中的各個參數(shù)波動模擬的憶阻器穩(wěn)定性問題對憶阻神經(jīng)網(wǎng)絡(luò)訓(xùn)練及測試結(jié)果的影響，并從憶阻器模型的參數(shù)波動回溯到器件結(jié)構(gòu)或性能層次的變化，得到模型參數(shù)及器件參量的允許波動范圍。

3.1 模型參數(shù)與憶阻器件的聯(lián)系

    本文中憶阻器的憶阻值主要由N=20個相互獨立的導(dǎo)電絲中低阻區(qū)域和高阻區(qū)域的相對長度決定，而低阻區(qū)域的初始長度X_i由式(5)、式(6)、式(7)決定：

    參數(shù)α、β、γ₀決定X_i的初始長度，但由于γ₀為負(fù)指數(shù)，β對其調(diào)控作用很小，故只考慮參數(shù)α和γ₀對X_i的調(diào)控。由式(10)可以算出X_i的分布范圍為[0.429 4D~0.947 5D]。分析式(8)可知，參數(shù)β、λ決定了憶阻器通電之后憶阻值隨磁通量的變化速度，參數(shù)β、λ越大，憶阻值變化的越快。

3.2 憶阻器參數(shù)波動對神經(jīng)網(wǎng)絡(luò)的影響

    為了定量地討論憶阻器穩(wěn)定性問題對憶阻神經(jīng)網(wǎng)絡(luò)的影響，對各個參數(shù)設(shè)置了不同的波動范圍，參數(shù)在給定范圍內(nèi)隨機(jī)取值，記錄各種情況下訓(xùn)練中能夠?qū)τ?xùn)練集中56 000組數(shù)據(jù)正確分類時需要的訓(xùn)練次數(shù)，并在訓(xùn)練后用測試集數(shù)據(jù)進(jìn)行測試。認(rèn)為訓(xùn)練次數(shù)較無參數(shù)波動時的573次增加10%，即630次以上時，憶阻器性能波動對網(wǎng)絡(luò)收斂速度產(chǎn)生顯著影響；測試識別率降到90%以下時對網(wǎng)絡(luò)功能產(chǎn)生顯著影響，那么憶阻器的波動就應(yīng)該限制在該波動程度范圍內(nèi)。

3.2.1 參數(shù)α的波動對網(wǎng)絡(luò)的影響

    參數(shù)α是模型中調(diào)制導(dǎo)電通道初始長度的參量，初始值為1，對其設(shè)置了從±0.001α至±0.3α等多種程度的波動，分別訓(xùn)練多次之后得到各種波動程度下的平均訓(xùn)練次數(shù)如圖5所示，圖中也用散點表示了各種波動時的部分訓(xùn)練次數(shù)分布情況。訓(xùn)練完之后對所有情況進(jìn)行了測試，準(zhǔn)確率均在93%左右。

    由圖5可以發(fā)現(xiàn)參數(shù)α的波動程度較小時，訓(xùn)練次數(shù)均小于573次，甚至小于450次，也就是說α的小范圍波動加快了憶阻神經(jīng)網(wǎng)絡(luò)的訓(xùn)練收斂，而且不損失測試準(zhǔn)確率。而隨著波動程度的增大，訓(xùn)練需要的次數(shù)也慢慢增大，最終超過630次，雖然測試準(zhǔn)確率仍然是93%左右，但嚴(yán)重影響了網(wǎng)絡(luò)的收斂速度。

    所以可以得到在不影響憶阻神經(jīng)網(wǎng)絡(luò)穩(wěn)定性的情況下，允許參數(shù)α的最大波動范圍為±0.22α，即參數(shù)α取值應(yīng)該在0.78~1.22之間。而參數(shù)α控制導(dǎo)電絲中低阻部分初始長度X_i，由式(10)可以得到一個憶阻器中X_i值的范圍在0.335 2D~1D之間，基于實際憶阻器件即6.704 nm~20 nm之間。

3.2.2 參數(shù)β的波動對網(wǎng)絡(luò)的影響

    參數(shù)β是模型中控制憶阻值隨磁通量變化速度的參量，也就是影響憶阻神經(jīng)網(wǎng)絡(luò)突觸權(quán)值更新幅度的參量，初始值為1，對其設(shè)置了從±0.005β至±8β等多種程度的波動，分別訓(xùn)練多次之后得到各種波動程度下的平均訓(xùn)練次數(shù)如圖6所示，對各種情況進(jìn)行了測試，準(zhǔn)確率也均在93%左右。

    由圖6可以看出，參數(shù)β較小程度波動時憶阻神經(jīng)網(wǎng)絡(luò)的收斂速度較無波動時快，而波動程度大于±5β之后，訓(xùn)練次數(shù)則普遍高于630次，對網(wǎng)絡(luò)收斂速度產(chǎn)生顯著影響，所以β取值范圍應(yīng)該在0~6之間。β主要調(diào)控憶阻值隨磁通量的變化速度，只能從傳輸曲線表征，圖2為β從小到大變化時憶阻器的傳輸曲線，憶阻器的傳輸曲線應(yīng)該落在β=0和β=6對應(yīng)曲線之間(其中β=0意味著憶阻器變成定值電阻)。

3.2.3 參數(shù)γ₀的波動對網(wǎng)絡(luò)的影響

    參數(shù)γ₀是模型中對導(dǎo)電通道初始長度進(jìn)行微調(diào)的參量，初始值設(shè)為-5.9，對其設(shè)置了從±γ₀/20、±γ₀/10至±γ₀/2等多個波動范圍，各種情況下憶阻神經(jīng)網(wǎng)絡(luò)訓(xùn)練次數(shù)如圖7所示；訓(xùn)練完之后對所有情況進(jìn)行了測試，準(zhǔn)確率均在93%左右，幾乎無損失。

    由圖7仍然可以發(fā)現(xiàn)參數(shù)γ₀的波動程度較小時，憶阻神經(jīng)網(wǎng)絡(luò)訓(xùn)練收斂速度較無波動時更快，而且不損失測試準(zhǔn)確率；波動程度達(dá)到±0.34γ₀以上時，網(wǎng)絡(luò)訓(xùn)練速度過慢，所以其波動應(yīng)該控制±0.34γ₀以內(nèi)，即γ₀取值應(yīng)該在-7.906~-3.894之間。其調(diào)控的X_i的初始值范圍應(yīng)該在0.4283D~0.9641D之間，基于實際憶阻器件X_i的值為：8.566 nm~19.282 nm。

3.2.4 參數(shù)λ的波動對網(wǎng)絡(luò)的影響

    參數(shù)λ是模型中最直接控制憶阻值隨磁通量變化速度的參量，與參數(shù)β的意義相似。初始值為5.76，對其設(shè)置了從±λ/10至±9λ等多種波動范圍，憶阻神經(jīng)網(wǎng)絡(luò)訓(xùn)練次數(shù)如圖8所示，在波動超過±8.4λ之后訓(xùn)練次數(shù)均超過1 000，在圖8中用1 000表示。測試準(zhǔn)確率保持在92%~93%，幾乎無損失。

    不難看出，參數(shù)λ一定程度內(nèi)的波動仍然會加快訓(xùn)練收斂速度，但是當(dāng)波動程度過大之后，訓(xùn)練次數(shù)會急劇增加，很快超過1 000次。由訓(xùn)練數(shù)據(jù)得到：參數(shù)λ波動范圍在±8.35λ時，平均訓(xùn)練次數(shù)為618次，所以參數(shù)λ的波動應(yīng)該控制在±8.35λ以內(nèi)，這樣才能保證憶阻神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，即參數(shù)λ取值在0~53.856之間。λ對憶阻器特性的調(diào)控與β相似，從傳輸曲線上表征。其不同取值時憶阻器傳輸特性曲線如圖9所示，即用作突觸的憶阻器的傳輸曲線應(yīng)該落在λ=0和λ=53.856對應(yīng)的曲線之間(其中λ=0意味著憶阻器變成定值電阻)。

4 結(jié)論

    本文基于一種等效電阻拓?fù)浣Y(jié)構(gòu)的憶阻器模型，探究了憶阻器作為神經(jīng)網(wǎng)絡(luò)突觸時，其不穩(wěn)定現(xiàn)象對憶阻神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性及功能實現(xiàn)的影響，并得出了基于MNIST手寫數(shù)據(jù)集的憶阻神經(jīng)網(wǎng)絡(luò)中憶阻器性能參數(shù)在初始設(shè)置基礎(chǔ)上的最大波動范圍：參數(shù)α：±0.22α；參數(shù)β：±5β；參數(shù)γ₀：±0.34γ₀；參數(shù)λ:±8.35λ。反映到憶阻器模型中對應(yīng)的器件參數(shù)上，即導(dǎo)電絲(總長度D=20 nm)中低阻部分初始長度Xi應(yīng)該控制在0.428 3 D~0.964 1 D之間，即8.566 nm~19.282 nm；憶阻值隨磁通量的變化速度則從傳輸曲線上表征。本文的實驗結(jié)果不僅證實了憶阻器作為神經(jīng)網(wǎng)絡(luò)突觸結(jié)構(gòu)的可行性，還發(fā)現(xiàn)作為突觸的憶阻器一定程度內(nèi)的性能波動會促進(jìn)神經(jīng)網(wǎng)絡(luò)的收斂；此外，器件參量結(jié)果也為憶阻神經(jīng)網(wǎng)絡(luò)硬件化中憶阻器件的工藝制造和選用提供了一種參考。

參考文獻(xiàn)

[1] CHUA L.Memristor-the missing circuit element[J].IEEE Transactions on Circuit Theory，1971，18(5)：507-519.

[2] 王麗丹，段美濤，段書凱.基于STDP規(guī)則的憶阻神經(jīng)網(wǎng)絡(luò)在圖像存儲中的應(yīng)用[J].電子科技大學(xué)學(xué)報，2013(5)：642-647.

[3] QUERLIOZ D，BICHLER O，GAMRAT C.Simulation of a memristor-based spiking neural network immune to device variations[C].The 2011 International Joint Conference on Neural Networks(IJCNN).IEEE，2011：1775-1781.

[4] KWON D H，KIM K M，JANG J H，et al.Atomic structure of conducting nanofilaments in TiO2 resistive switching memory[J].Nature nanotechnology，2010，5(2)：148.

[5] ZHU R，CHANG S，WANG H，et al.A versatile and accurate compact model of memristor with equivalent resistor topology[J].IEEE Electron Device Letters，2017，38(10)：1367-1370.

[6] YANG J J，PICKETT M D，LI X，et al.Memristive switching mechanism for metal/oxide/metal nanodevices[J].Nature Nanotechnology，2008，3(7)：429.

[7] 黃睿，陸許明，鄔依林.基于TensorFlow深度學(xué)習(xí)手寫體數(shù)字識別及應(yīng)用[J].電子技術(shù)應(yīng)用，2018，44(10)：6-10.

[8] 王蒙，常勝，王豪.一種自適應(yīng)訓(xùn)練的BP神經(jīng)網(wǎng)絡(luò)FPGA設(shè)計[J].現(xiàn)代電子技術(shù)，2016，39(15)：115-118.

作者信息:

田  野，朱若華，湯知日，常  勝

（武漢大學(xué) 物理科學(xué)與技術(shù)學(xué)院，湖北 武漢 430072）