王博林1， 閆德勤2， 楚永賀2

　?。?.遼寧師范大學(xué) 數(shù)學(xué)學(xué)院，遼寧 大連 116029；2.遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，遼寧 大連 116081）

       摘要：在人臉圖像識(shí)別中人臉圖像數(shù)據(jù)中有很多是稀疏的，對(duì)于稀疏數(shù)據(jù)的降維是流形學(xué)習(xí)算法面臨的一個(gè)問(wèn)題。為了有效地從高維圖像數(shù)據(jù)中提取人臉圖像的敏感信息，提高人臉識(shí)別的速度，文章提出了一種基于流形學(xué)習(xí)的有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)的極端學(xué)習(xí)機(jī)(ELM)。

　　關(guān)鍵詞：流形學(xué)習(xí)；極端學(xué)習(xí)機(jī)

　　中圖分類號(hào)：TP18文獻(xiàn)標(biāo)識(shí)碼：ADOI： 10.19358/j.issn.16747720.2016.23.012

　　引用格式：王博林， 閆德勤， 楚永賀. 基于稀疏排列的LPP和ELM的人臉識(shí)別［J］.微型機(jī)與應(yīng)用，2016,35（23）：42-45.

0引言

　　近年來(lái)在流形學(xué)習(xí)的基礎(chǔ)上研究人員提出了不同的降維算法，例如，局部保持嵌入(Locally Linear Embedding, LLE)［1］、拉普拉斯特征映射(Laplacian Eigenmaps, LE)［2］，這些非線性方法在人臉圖像識(shí)別中取得了理想的效果，然而人臉圖像數(shù)據(jù)往往具有非常高的維數(shù),利用這些非線性方法是非常耗時(shí)，對(duì)如何構(gòu)建測(cè)試數(shù)據(jù)的鄰接圖關(guān)系是未知的。為了解決上述非線性方法的耗時(shí)問(wèn)題，研究人員提出了有監(jiān)督的鄰域保持嵌入(Supervised Neighborhood Preserving Embedding, SNPE)［3］、判別信息增強(qiáng)的鄰域保持嵌入(DiscriminantEnhanced Neighborhood Preserving Embedding, DNPE)［4］、局部最大間隔判別嵌入(Local Maximal Margin Discriminant Embedding, LMMDE)［5］等能夠很好地提取人臉圖像數(shù)據(jù)的判別信息，并且解決了非線性方法的耗時(shí)問(wèn)題。目前在人臉圖像識(shí)別中降維算法面臨的問(wèn)題是：基于流形學(xué)習(xí)的各種算法對(duì)人臉圖像數(shù)據(jù)的判別信息的提取效果不佳，極大地影響著極端學(xué)習(xí)機(jī)的分類性能。降維算法的有效性取決于對(duì)人臉圖像數(shù)據(jù)判別信息的有效提取。稀疏性是人臉圖像數(shù)據(jù)的屬性之一，影響著降維算法的有效性。

　　近年來(lái)HUANG等人［6］基于單隱層前饋神經(jīng)網(wǎng)絡(luò)（SingleHidden Layer Feedforward Networks,SLFNs）結(jié)構(gòu)提出了極端學(xué)習(xí)機(jī)（Extreme Learning Machine,ELM）。ELM訓(xùn)練速度快，避免了傳統(tǒng)SLFNs學(xué)習(xí)方法收斂速度慢及陷入局部極小解的可能。ELM是一種基于單隱層前饋神經(jīng)網(wǎng)絡(luò)（SLFNs）的結(jié)構(gòu)，它隨機(jī)選擇輸入權(quán)值和分析確定SLFNs的輸出權(quán)值，具有更好的泛化能力和更快的學(xué)習(xí)速度，避免了瑣碎的人為干預(yù)，使得它在在線和實(shí)時(shí)應(yīng)用中具有較高的效率。然而在人臉識(shí)別問(wèn)題中由于人臉圖像數(shù)據(jù)往往具有非常高的維數(shù)，從而使ELM的識(shí)別率下降和分類速度變慢，為此本文提出了基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)。本文的創(chuàng)新點(diǎn)如下：（1）將流形學(xué)習(xí)的理論與ELM結(jié)合起來(lái)，進(jìn)而提高人臉識(shí)別的識(shí)別率和識(shí)別速度； （2）考慮到人臉圖像數(shù)據(jù)的稀疏性，為此利用人臉圖像數(shù)據(jù)的統(tǒng)計(jì)信息動(dòng)態(tài)確定局部線性化范圍，在LPP算法的基礎(chǔ)上依據(jù)數(shù)據(jù)的分布提出一種有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)。

1基于流形學(xué)習(xí)的SSLPP降維方法

　　對(duì)于稀疏的人臉圖像數(shù)據(jù)樣本集，樣本間重疊的信息量非常少，為此本文通過(guò)擴(kuò)大k鄰域?yàn)閗－N(i)區(qū)域?qū)υ紨?shù)據(jù)集進(jìn)行區(qū)域信息加強(qiáng)，如圖1所示，k－N(xi)區(qū)域?yàn)镹(xi)及其對(duì)應(yīng)的k近鄰點(diǎn)構(gòu)成，這使得在數(shù)據(jù)樣本集較少的情況下，同樣能夠?qū)崿F(xiàn)重疊信息量非常充分的流形學(xué)習(xí)效果。

　　本文期望k－N(i)鄰域降維后樣本的鄰域關(guān)系盡可能保持不變，則第i個(gè)樣本鄰域最小化目標(biāo)函數(shù)為：

　　式 (1)中nc為第i個(gè)樣本鄰域所在類別的樣本個(gè)數(shù)，將代入 式(1),最小化目標(biāo)函數(shù)寫為再對(duì)所有的樣本鄰域進(jìn)行整合得到最終的優(yōu)化函數(shù)為：

　　式(2)中c為所有樣本的類別總數(shù)，uT為投影變換矩陣，依據(jù)文獻(xiàn)［7］對(duì)LPP算法的推導(dǎo)過(guò)程如下：

　　其中的單位矩陣，L為拉普拉斯矩陣。SSLPP算法保持了LPP算法原有的框架，因此優(yōu)化條件可寫為：

　　其中利用拉格朗日乘子法對(duì)式(4)進(jìn)行求解可得:

　　對(duì)矩陣XLXT和XDXT進(jìn)行特征值分解，得到特征向量矩陣為U=［u1,…,uN］。從特征向量矩陣中選取的第2到第d+1個(gè)最小特征值對(duì)應(yīng)的特征向量，即：［u2,…,ud+1］T，則由y=uTx得到SSLPP算法。

2ELM

　　對(duì)于N個(gè)不同的樣本(xj,tj)可表示為X=(x1,x2,…,xN)T∈RD×N,其中tj=(tj1,tj2,…,tjm)T∈Rm，具有L個(gè)隱層節(jié)點(diǎn)激活函數(shù)為g(x)的ELM模型如下形式:

　　其中j=1,2,…,N，ai=(ai1,ai2,…,ain)為連接第i個(gè)隱層節(jié)點(diǎn)與輸入節(jié)點(diǎn)的輸入權(quán)值向量，βi=(βi1,βi2,…,βim)為連接第i個(gè)隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的輸出權(quán)值向量，bi為第i個(gè)隱層節(jié)點(diǎn)的偏置值，ai·xj表示ai和xj的內(nèi)積，tj=(tj1,tj2,…,tjm)T∈Rm為對(duì)應(yīng)于樣本xj的期望輸出向量，對(duì)所有數(shù)據(jù)樣本進(jìn)行整合，式(6)可以改寫為如下形式：

　　其中H是網(wǎng)絡(luò)隱層節(jié)點(diǎn)輸出矩陣，β為輸出權(quán)值矩陣，T為期望輸出矩陣：

　　當(dāng)隱層節(jié)點(diǎn)個(gè)數(shù)與訓(xùn)練樣本個(gè)數(shù)相同時(shí)(即L=N)，可以通過(guò)式(7)直接求矩陣H的逆矩陣得到最優(yōu)的輸出權(quán)值矩陣β，但大多情況下隱層節(jié)點(diǎn)的個(gè)數(shù)遠(yuǎn)小于訓(xùn)練樣本的個(gè)數(shù)（即LN），此時(shí)矩陣H為奇異矩陣，利用最小二乘解的方法對(duì)式(7)進(jìn)行求解：

　　其中,H+為矩陣H的廣義逆。

　　為了提高傳統(tǒng)ELM的穩(wěn)定性和泛化能力，Huang提出了等式優(yōu)化約束的ELM。等式優(yōu)化約束的ELM的優(yōu)化式子不僅最小化訓(xùn)練誤差ξ，同時(shí)最小化輸出權(quán)值β，因此等式優(yōu)化約束的ELM目標(biāo)式子可寫為：

　　式(12)中ξi=(ξi1,…,ξ1m)T為對(duì)應(yīng)于樣本xi的訓(xùn)練誤差向量，C為懲罰參數(shù)。式(12)的求解可通過(guò)拉格朗日方法轉(zhuǎn)化為無(wú)條件最優(yōu)化問(wèn)題進(jìn)行求解。因此ELM算法求解過(guò)程可總結(jié)如下：

　?。?)初始化訓(xùn)練樣本集；

　?。?)隨機(jī)指定網(wǎng)絡(luò)輸入權(quán)值ai和偏置值bi；

　?。?)通過(guò)激活函數(shù)［8］計(jì)算隱層節(jié)點(diǎn)輸出矩陣H；

　?。?)計(jì)算輸出權(quán)值,

3實(shí)驗(yàn)結(jié)果及分析

　　2個(gè)不同人臉庫(kù)數(shù)據(jù)參數(shù)設(shè)置如表1所示，人臉圖像

　　如圖2所示。為了證明所提出算法的有效性，在ORL實(shí)驗(yàn)中隨機(jī)選取訓(xùn)練集個(gè)數(shù)為L(zhǎng)={2，3，4，5}，剩余部分為測(cè)試集；在Yale B試驗(yàn)中隨機(jī)選取訓(xùn)練集個(gè)數(shù)為L(zhǎng)={5，10，20，30}，剩余部分為測(cè)試集，不同降維算法在不同維數(shù)下的識(shí)別率曲線及識(shí)別率如圖3所示。

　　圖3給出了ELM采用不同降維算法在ORL人臉數(shù)據(jù)上的識(shí)別率曲線。由圖3可知ELM采用SSLPP算法的識(shí)

　　別率曲線達(dá)到了100%并且非常穩(wěn)定，SNPE算法的識(shí)別率曲線隨著位數(shù)據(jù)維數(shù)的增大出現(xiàn)了波動(dòng)，DNPE算法、LMMDE和RAFGE算法［8］的識(shí)別率曲線隨著數(shù)據(jù)維數(shù)的增大識(shí)別率也跟著增大，DNPE算法在ORL數(shù)據(jù)上表現(xiàn)出比較好的性質(zhì)。

　　圖4給出了ELM采用不同降維算法在Yale B人臉數(shù)據(jù)上的識(shí)別率曲線，由圖4可知ELM采用SSLPP算法的識(shí)別率曲線明顯高于其他算法并且非常穩(wěn)定。

4結(jié)論

　　為了提高人臉識(shí)別的速度和準(zhǔn)確率，本文提出了基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)，通過(guò)與DNPE及LMMDE、RAFGE、SNPE算法的對(duì)比實(shí)驗(yàn)表明，本文所提出的方法在人臉識(shí)別速度和識(shí)別率上顯著優(yōu)于其他方法，因此，基于流行學(xué)習(xí)的極端學(xué)習(xí)機(jī)具有重要的現(xiàn)實(shí)的意義。

　　參考文獻(xiàn)

　?。?］ROWEIS S T,SAUL L K, Nonlinear dimensionality reduction by locally linear embedding［J］.Science,2000,290(5500)：2323-2326.

　?。?］MIKHAIL B,PARTHA N.Laplacian eignmaps for dimensionality reduction and data representation［J］. Neural Computation, 2003,15(6)：1373-1396.

　?。?］Bao Xing,Zhang Li,Wang Bangjun,et al. A supervised neighborhood preserving embedding for face recognition［C］. International Joint Conference on Neural Networks,2014:278-284.

　?。?］Chai Yi,Yang Zhimin,Zhang Ke,et al. Discriminant enhanced neighborhood preserving embedding for dimensionality reduction［C］. IEEE Conference, Nov ,2013:255-210.

　　［5］Huang Pu,Tang Zhenmin,Chen Caikou,et al. Local maximal margin discriminant embedding for face recognition［J］. Vis. Commun. Image R., 2014(25):296-305.

　?。?］ Wang Dianhui，Huang Guangbin.Protein sequence classification using extreme learning machine［J］.Proceedings of International Joint Conference on Neural Networks, 2005(3):1406-1411

　?。?］ Huang Guangbin. An insight into extreme learning machines:random neurons,random features and kernels［J］. Cogn Comput,2014,6(3):376-390.

　?。?］ 馮林，劉勝藍(lán)，張晶，等.高維數(shù)據(jù)中魯棒激活函數(shù)的極端學(xué)習(xí)機(jī)及線性降維［J］.計(jì)算機(jī)研究與發(fā)展，2014，51(6)：1331-1340.