0 引言

    HUANG G B等在2006年提出極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）^[1]。極限學(xué)習(xí)機(jī)是為單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer Feedforward Neural Networks，SLFN)設(shè)計(jì)的學(xué)習(xí)算法，該算法需要人為調(diào)整的參數(shù)只有隱藏層神經(jīng)元的個數(shù)，比傳統(tǒng)基于梯度下降的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法^[2-4]收斂速度快，泛化性能好。

    但在實(shí)際應(yīng)用中，數(shù)據(jù)往往不能一次性獲取，當(dāng)獲取到新的數(shù)據(jù)時，又要把新的數(shù)據(jù)和舊的數(shù)據(jù)放到一起來訓(xùn)練網(wǎng)絡(luò)，會浪費(fèi)許多時間。在線極限學(xué)習(xí)機(jī)（Online Sequential ELM，OS-ELM）^[5]可以將數(shù)據(jù)逐個或逐塊地添加到網(wǎng)絡(luò)中，當(dāng)新的數(shù)據(jù)到來時，并不需要把舊的數(shù)據(jù)拿出來重新訓(xùn)練。但由于在線極限學(xué)習(xí)機(jī)的淺層網(wǎng)絡(luò)結(jié)構(gòu)，即使設(shè)置很多的隱藏層節(jié)點(diǎn)個數(shù)，仍然很難有效應(yīng)對復(fù)雜的實(shí)際應(yīng)用。同時，算法雖然能夠逐個或逐塊地學(xué)習(xí)數(shù)據(jù)，在較短的時間內(nèi)達(dá)到較高的精度要求，但該算法對學(xué)習(xí)的時效性的數(shù)據(jù)不是太好，即數(shù)據(jù)在一段時間內(nèi)是有效的，過一段時間后數(shù)據(jù)將失效（如天氣預(yù)測或股票預(yù)測等）。

    本文結(jié)合在線極限學(xué)習(xí)機(jī)原理和深度極限學(xué)習(xí)機(jī)自動編碼器(Deep ELM AutoEncoder，DELM-AE)^[6-7]原理，提出無監(jiān)督的在線深度極限學(xué)習(xí)機(jī)自動編碼器(OS-DELM-AE)，使ELM-AE具備在線學(xué)習(xí)的能力；在OS-DELM-AE的基礎(chǔ)上進(jìn)一步引入遺忘機(jī)制，提出FOS-DELM-AE(Forgetting Mechanism OSDELM-AE)；并用FOS-DELM-AE做無監(jiān)督的特征學(xué)習(xí)，F(xiàn)OS-ELM^[8]做有監(jiān)督的目標(biāo)學(xué)習(xí)，使OS-ELM具備深層網(wǎng)絡(luò)結(jié)構(gòu)的同時，能適應(yīng)很強(qiáng)時效性的應(yīng)用。

1 深度極限學(xué)習(xí)機(jī)自動編碼器原理簡介

    相比淺層網(wǎng)絡(luò)，深層網(wǎng)絡(luò)能更好地處理高維數(shù)據(jù)；更接近人腦，對輸入數(shù)據(jù)的特征進(jìn)行層次化提取；能獲得更多有用信息等。文獻(xiàn)[6]用極限學(xué)習(xí)機(jī)訓(xùn)練深度自動編碼器，每一層看作是一次極限學(xué)習(xí)機(jī)的訓(xùn)練，每層訓(xùn)練結(jié)束后將不再調(diào)整參數(shù)；上一層的輸出作為下一層的輸入，依次以極限學(xué)習(xí)機(jī)的訓(xùn)練方式訓(xùn)練自動編碼器，從而形成深度極限學(xué)習(xí)機(jī)自動編碼器。其網(wǎng)絡(luò)模型如圖1所示。

    其中，自動編碼器是一種無監(jiān)督的學(xué)習(xí)方法，最初主要用于高維數(shù)據(jù)處理，自動編碼器通過盡可能復(fù)現(xiàn)輸入信號，學(xué)習(xí)到代表輸入數(shù)據(jù)的新的特征。自動編碼器由編碼器和解碼器組成。編碼器在網(wǎng)絡(luò)的訓(xùn)練和部署時使用，而解碼器只在訓(xùn)練時使用。通過隨機(jī)映射輸入信號，自動編碼器重構(gòu)輸入信號的問題就成了極限學(xué)習(xí)機(jī)問題。

2 FOS-DELM

2.1 OS-DELM-AE

    近年來，深度學(xué)習(xí)^[9-12]成為研究熱點(diǎn)，深度學(xué)習(xí)得到了極大發(fā)展，在深度學(xué)習(xí)發(fā)展的同時，在線深度學(xué)習(xí)的發(fā)展也得到了新的支撐^[13-15]。本文在OS-ELM原理和深度ELM-AE原理的啟發(fā)下，提出了OS-DELM-AE，將ELM-AE在線化，每一層OS-ELM-AE訓(xùn)練完成之后不再調(diào)整參數(shù)，上一層OS-ELM-AE的輸出作為下一層OS-ELM-AE的輸入，逐層訓(xùn)練OS-DELM-AE，通過OS-DELM-AE，將樣本特征分層提取，并具備在線學(xué)習(xí)的能力。下面是OS-DELM-AE的具體算法步驟。

2.1.1 第1層特征學(xué)習(xí)

2.1.2 第p層特征學(xué)習(xí)

2.2 FOS-DELM

    遺忘機(jī)制是逐步驅(qū)除有錯誤可能及過時信息數(shù)據(jù)的有效方法，ZHAO J等^[8]在OS-ELM算法中結(jié)合了遺忘機(jī)制，提出遺忘機(jī)制FOS-ELM算法。本文將遺忘機(jī)制引入到OS-DELM-AE中，提出了FOS-DELM-AE方法，使OS-DELM-AE能有效驅(qū)除錯誤信息及過時信息數(shù)據(jù)。以FOS-DELM-AE方法做無監(jiān)督特征學(xué)習(xí)，以FOS-ELM做目標(biāo)學(xué)習(xí)，提出基于遺忘機(jī)制的在線深度極限學(xué)習(xí)機(jī)（FOS-DELM）。

    設(shè)以前的數(shù)據(jù)塊為Ω_k-s+1，新添的數(shù)據(jù)塊為Ω_k+1，各層OS-DELM-AE輸出權(quán)重的迭代計(jì)算公式為：

其中，X_k+1為第k+1塊數(shù)據(jù)樣本輸入，s是每個數(shù)據(jù)塊的有效單位時間。在OS-DELM-AE算法中，要計(jì)算β^k+1，需要知道從N₀～N_k+1的所有數(shù)據(jù)塊，而FOS-DELM-AE算法計(jì)算β^k+1時，只需要第k+1次添加的數(shù)據(jù)塊Ω_k+1和第k-s+1次添加的數(shù)據(jù)塊Ω_k-s+1。這是使FOS-DELM-AE算法具備有效去除有可能是錯誤信息的過時數(shù)據(jù)的關(guān)鍵。

3 實(shí)驗(yàn)評估

    本文算法FOS-DELM選用JINAN QINGQI MTCYCL、HUAXIN CEMENT、HAINAN AIRLINES、JINZHOU PORT等數(shù)據(jù)集，與OS-ELM、FOS-ELM算法做對比實(shí)驗(yàn)。評價(jià)指標(biāo)為均方根誤差(RMSE)(均方根誤差越小效果越好)、判定系數(shù)(R-square)(判斷系數(shù)越接近1代表擬合程度越高)以及訓(xùn)練時間作為評價(jià)指標(biāo)。其中FOS-DELM采用3層結(jié)構(gòu)，前兩層為FOS-DELM-AE，最后一層為FOS-ELM。實(shí)驗(yàn)結(jié)果見表1～表6。

    由表1、表3、表5可知，F(xiàn)OS-DELM較OS-ELM、FOS-ELM降低了RMSE；由表2、表4、表6可知，F(xiàn)OS-DELM較OS-ELM、FOS-ELM提升了R-square。

    對水環(huán)境中DO（水中溶氧量參數(shù)指標(biāo)）、NH3-N（水中氨氮含量指標(biāo)）進(jìn)行實(shí)驗(yàn)測試，如圖2和圖3所示，橫坐標(biāo)表示某個時刻，縱坐標(biāo)表示某個時刻對應(yīng)值。該結(jié)果圖選取連續(xù)52個時刻的值作為展示，其他時刻有類似效果。從圖2、圖3的擬合效果看，F(xiàn)OS-DELM對水質(zhì)指標(biāo)的擬合程度比FOS-ELM更高。綜合上述實(shí)驗(yàn)分析來看，F(xiàn)OS-DELM可以作為在線學(xué)習(xí)的有效方法，并具備深度學(xué)習(xí)和實(shí)效性強(qiáng)等優(yōu)勢。

4 結(jié)束語

    本文結(jié)合在線極限學(xué)習(xí)機(jī)原理和深度極限學(xué)習(xí)機(jī)自動編碼器原理，提出無監(jiān)督的在線深度極限學(xué)習(xí)機(jī)自動編碼器，使ELM-AE具備在線學(xué)習(xí)的能力；在深層在線ELM-AE的基礎(chǔ)上進(jìn)一步引入遺忘機(jī)制，提出FOS-DELM-AE；并用FOS-DELM-AE做無監(jiān)督的特征學(xué)習(xí)，F(xiàn)OS-ELM做有監(jiān)督的目標(biāo)學(xué)習(xí)，使OS-ELM具備深層網(wǎng)絡(luò)結(jié)構(gòu)的同時，具備在線學(xué)習(xí)能力。最后通過基于指標(biāo)RMSE和R-square的實(shí)驗(yàn)驗(yàn)證了本文算法FOS-ELM的有效性。

參考文獻(xiàn)

[1] HUANG G B，ZHU Q Y，SIEW C K.Extreme learning machine：theoryand applications[J].Neurocomputing，2006，70：489-501.

[2] JIAN W，WEN Y，GOU Y，et al.Fractional-order gradient descent learning of BP neural networks with Caputo derivative[J].Neural Networks，2017，89：19-30.

[3] 王洪元，史國棟.人工神經(jīng)網(wǎng)絡(luò)技術(shù)及其應(yīng)用[M].北京：中國石化出版社，2003.

[4] 郁磊.MATLAB智能算法30個案例分析[M].北京：北京航空航天大學(xué)出版社，2015.

[5] LIANG N Y，HUANG G B，SARATCHANDRAN P，et al.A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEE Transactions on Neural Networks，2006，17(6)：1411-1423.

[6] Tang Jiexiong，Deng Chenwei，Huang Guangbin.Extreme learning machine for multilayer perceptron[J].IEEE Transactions on Neural Networks and Learning Systems，2015，27(4)：1210-1213.

[7] 劉勘，袁蘊(yùn)英.基于自動編碼器的短文本特征提取及聚類研究[C].CCF國際自然語言處理與中文計(jì)算會議，2014：120-121.

[8] ZHAO J，WANG Z，DONG S P.Online sequential extreme learning machine with forgetting mechanism[J].Neurocomputing，2012，87(15)：79-89.

[9] SCHMIDHUBER J.Deep learning in neural networks：an overview[J].Neural Networks，2015，61：85-117.

[10] NODA K，YAMAGUCHI Y，NAKADAI K，et al.Audiovisual speech recognition using deep learning[J].Applied Intelligence，2015，42(4)：722-737.

[11] READ J，PEREZCRUZ F.Deep learning for multi-label classification[J].Machine Learning，2014，85(3)：333-359.

[12] RAHHAL M M A，BAZI Y，ALHICHRI H，et al.Deep learning approach for active classification of electrocardiogram signals[J].Information Sciences，2016，345(1)：340-354.

[13] YAN X，JING Y，ZHONG S.An online supervised learning method based on gradient descent for spiking neurons[J].Neural Networks，2017，93：7-20.

[14] LEI Y，ZHOU D X.Analysis of online composite mirror descent algorithm[J].Neural Computation，2017，29(3)：825-860.

[15] CHENG W Y，JUANG C F.A fuzzy model with online incremental SVM and margin-selective gradient descent learning for classification problems[J].IEEE Transactions on Fuzzy Systems，2015，22(2)：324-337.

作者信息：

劉步中1，2

(1.江蘇省中小企業(yè)電子產(chǎn)品工程技術(shù)研發(fā)中心，江蘇 淮安223003；2.淮安信息職業(yè)技術(shù)學(xué)院，江蘇 淮安223003）