摘 要: 采用自適應(yīng)遺傳算法(AGA)優(yōu)化篩選改進(jìn)高斯核函數(shù)支持向量機(jī)(SVM)參數(shù)模型進(jìn)行人臉特征分類。支持向量機(jī)的泛化性能主要取決于核函數(shù)類型和核函數(shù)參數(shù)及懲罰系數(shù)C,本文在傳統(tǒng)高斯核函數(shù)基礎(chǔ)上提出改進(jìn)高斯核函數(shù)作為支持向量機(jī)的非線性映射函數(shù),并使用自適應(yīng)遺傳算法優(yōu)化篩選核函數(shù)參數(shù)和支持向量機(jī)懲罰系數(shù),將優(yōu)化后的SVM模型用于人臉庫進(jìn)行實(shí)驗(yàn)仿真。實(shí)驗(yàn)結(jié)果表明,本文方法比傳統(tǒng)高斯核函數(shù)支持向量機(jī)分類器模型有更高識別率。
關(guān)鍵詞: 支持向量機(jī);核函數(shù);遺傳算法;人臉識別
0 引言
人臉識別是模式識別研究領(lǐng)域的一個重要研究方向,屬于生物識別的研究領(lǐng)域,與其他人體生物特征識別方式相比,人臉識別具有方式友好、采樣方便、無需接觸等許多優(yōu)點(diǎn),此外,人臉特征具有很強(qiáng)的自身穩(wěn)定性和個體差異性,是身份驗(yàn)證的理想依據(jù),所以,對人臉識別研究具有重要的學(xué)術(shù)研究價值和廣闊的應(yīng)用前景。在實(shí)際運(yùn)用過程中,由于受各種條件限制,通常無法針對每個人都采集大量的圖像樣本。所以,人臉識別相對于維數(shù)而言屬于小樣本模式識別問題,而支持向量機(jī)在解決小樣本、非線性及高維模式識別問題中,相比較于其他傳統(tǒng)分類器具有很多特有的優(yōu)勢,SVM能夠在學(xué)習(xí)性能和泛化能力上找到一個最佳折中,在保證SVM分類性能的同時又具有較好的推廣性。因此,本文選擇SVM作為人臉特征分類器,考慮到支持向量機(jī)的泛化性能取決于其核函數(shù)類型、核函數(shù)參數(shù)以及懲罰系數(shù),根據(jù)相關(guān)文獻(xiàn)介紹,本文在性能較好的高斯徑向基核函數(shù)(RBF)基礎(chǔ)上提出改進(jìn)高斯核函數(shù)作為SVM的非線性映射函數(shù)。為了得到性能較優(yōu)的SVM分類器模型,采用自適應(yīng)遺傳算法優(yōu)化篩選其參數(shù),再將優(yōu)化所得SVM分類器模型用于人臉庫進(jìn)行實(shí)驗(yàn)仿真。實(shí)驗(yàn)結(jié)果表明,本文方法比傳統(tǒng)高斯核函數(shù)支持向量機(jī)模型有更高識別率。
1 支持向量機(jī)模型
1.1 支持向量機(jī)概述
如圖1所示,SVM方法能夠?qū)⒁唤M非線性可分的高維向量(如圖(a))經(jīng)核函數(shù)映射到更高維特征空間使其線性可分(如圖(b))。(b)圖中H為映射后可正確分開兩類樣本的最大分類間隔超平面,H1和H2為平行于H且分別經(jīng)過離H最近的兩類樣本的超平面,位于H1和H2上的樣本叫做支持向量,超平面函數(shù)表達(dá)式如式(1):
式中,xi為輸入樣本,yi為樣本xi的所屬類標(biāo)志,?鬃為核函數(shù),SV為支持向量集,b*為分類閾值,?琢i為每個樣本對應(yīng)的Lagrange乘子,sgn(·)是符號函數(shù)。
1.2 核函數(shù)選取
目前常用的核函數(shù)有四種:線性核函數(shù)、多項(xiàng)式核函數(shù)、S形核函數(shù)和高斯徑向基核函數(shù)(RBF),本文在性能較好的高斯核函數(shù)基礎(chǔ)上提出改進(jìn)高斯核函數(shù)作為支持向量機(jī)的非線性映射函數(shù),改進(jìn)高斯核函數(shù)能彌補(bǔ)高斯核函數(shù)在測試點(diǎn)附近衰減不夠快及在遠(yuǎn)離測試點(diǎn)時核函數(shù)值趨近于零會產(chǎn)生核截?cái)喱F(xiàn)象的兩大不足。相關(guān)文獻(xiàn)指出,高斯核函數(shù)的兩大缺點(diǎn)在一定程度上會降低分類性能。本文將改進(jìn)高斯核函數(shù)用于人臉識別問題中,以驗(yàn)證其有效性和較之傳統(tǒng)高斯核函數(shù)的優(yōu)越性。
高斯核函數(shù)表達(dá)式如下:
其中,xc為測試點(diǎn),是核帶寬變量。
高斯徑向基核函數(shù)圖像如圖2所示。
改進(jìn)高斯核函數(shù)表達(dá)式如下:
式中,xc是測試點(diǎn),?滓是核帶寬變量,p是位移參數(shù)。
本文將高斯核函數(shù)和改進(jìn)高斯核函數(shù)的?滓均取為0.3,改進(jìn)高斯核函數(shù)的p取為0.2,將兩者做實(shí)驗(yàn)對比,圖3為兩種核函數(shù)在測試點(diǎn)附近衰減特性的比較,圖4為兩者在遠(yuǎn)離測試點(diǎn)時的衰減速度比較。
由圖3和圖4可見,本文提出的改進(jìn)高斯核函數(shù)能較好地改善高斯核函數(shù)存在的兩大缺陷,即在測試點(diǎn)附近的衰減速度更快,而在遠(yuǎn)離測試點(diǎn)時的衰減速度又比高斯核函數(shù)慢得多以不至于很快趨于零。故將本文改進(jìn)高斯核函數(shù)用于非線性分類問題中,可發(fā)揮其錯誤率低的特點(diǎn)。
2 遺傳算法優(yōu)化SVM參數(shù)模型
2.1 遺傳算法
本文采用能夠?qū)λ阉鬟^程中的某個解提供最佳交叉概率和變異概率的自適應(yīng)遺傳算法優(yōu)化篩選SVM參數(shù)。該算法中交叉概率Pc和變異概率Pm由以下公式計(jì)算:
其中,favg是群體平均適應(yīng)值,fmax是群體最大適應(yīng)值,f是參與交叉的兩個體中較大適應(yīng)值,f ′是變異個體的適應(yīng)值,k1、k2、k3、k4為常數(shù)。
自適應(yīng)遺傳算法中的選擇策略采用輪盤賭方法,適應(yīng)度函數(shù)設(shè)計(jì)如下:
2.2 遺傳算法優(yōu)化SVM參數(shù)模型
改進(jìn)高斯核函數(shù)SVM模型包含3個參數(shù),分別為核函數(shù)帶寬變量、核函數(shù)位移參數(shù)p以及懲罰系數(shù)C。為了得到最優(yōu)分類器模型,采用自適應(yīng)遺傳算法優(yōu)化篩選其參數(shù),優(yōu)化步驟如下:
(1)隨機(jī)產(chǎn)生個體數(shù)目一定的初始種群,確定每個變量的大致取值范圍和編碼長度,對每個個體進(jìn)行二進(jìn)制編碼。
?。?)根據(jù)式(6)計(jì)算個體的適應(yīng)度值,并判斷是否符合優(yōu)化準(zhǔn)則,若符合,輸出最佳個體及其代表的最優(yōu)解,并結(jié)束計(jì)算,否則轉(zhuǎn)向第(3)步。
(3)依據(jù)適應(yīng)度值選擇再生個體,適應(yīng)度高的個體被選中的概率高,適應(yīng)度低的個體可能被淘汰。
?。?)根據(jù)交叉概率執(zhí)行交叉操作生成新個體。
(5)根據(jù)變異概率執(zhí)行變異操作產(chǎn)生新個體。
?。?)由交叉和變異產(chǎn)生新一代的種群,返回到第(2)步。
3 實(shí)驗(yàn)仿真
本文采用標(biāo)準(zhǔn)的人臉數(shù)據(jù)庫ORL作為實(shí)驗(yàn)數(shù)據(jù)集來源,任意選取其中20個人的圖像作為實(shí)驗(yàn)對象,將每人的前5張圖像作為訓(xùn)練集,后5張作為測試集,以PCA特征為分類特征,分別采用改進(jìn)高斯核函數(shù)SVM分類器模型和高斯核函數(shù)SVM分類器模型對其分類識別。實(shí)驗(yàn)中,取自適應(yīng)遺傳算法的系數(shù)為:初始種群大小30,迭代次數(shù)20(經(jīng)實(shí)驗(yàn)驗(yàn)證自適應(yīng)遺傳算法收斂速度較快,故進(jìn)化代數(shù)不需設(shè)置太大),k1=0.5,k2=0.9,k3= 0.02,k4=0.05,?滓的精度為0.000 1,C和p的精度均為0.01,C的搜索范圍為(0,500),?滓的搜索范圍為(0,1),p的搜索范圍為(0,50)。實(shí)驗(yàn)數(shù)據(jù)如下:
?。?)為了選擇最佳維數(shù)PCA特征,經(jīng)多次實(shí)驗(yàn),選取改進(jìn)高斯核函數(shù)SVM模型的參數(shù)分別為:?滓=0.730 82,p=30.264 9,C=364.416,在不同維數(shù)PCA特征下對20個人的后100張圖像進(jìn)行10次測試識別,取其平均值得到圖5所示函數(shù)關(guān)系曲線。
根據(jù)實(shí)驗(yàn)結(jié)果可知,54維PCA特征為最佳特征,故本文選擇54維PCA特征作為本文識別特征,接著做后續(xù)實(shí)驗(yàn)。
?。?)同樣?。?)中所設(shè)參數(shù),以改進(jìn)高斯核函數(shù)SVM模型進(jìn)行人臉識別,得到正確識別和錯誤識別的截圖,如圖6和圖7所示。
?。?)基于自適應(yīng)遺傳算法優(yōu)化改進(jìn)高斯核函數(shù)SVM分類器模型進(jìn)行人臉識別的結(jié)果如表1。
實(shí)驗(yàn)數(shù)據(jù)表明,基于自適應(yīng)遺傳算法優(yōu)化支持向量機(jī)參數(shù)分類器模型擁有較理想識別率,且收斂速度也較理想。
?。?)經(jīng)多次實(shí)驗(yàn)知高斯核函數(shù)SVM模型中,懲罰系數(shù)C的取值對模型分類性能影響很小,而?滓在(0,12)范圍內(nèi)取值時,對分類器性能影響較大,且最高識別率也出現(xiàn)在該區(qū)間內(nèi),本文取C=95,繪制出?滓在(0,12)區(qū)間范圍內(nèi)取不同值時對應(yīng)識別率的曲線圖如圖8所示。
由圖8可知,當(dāng)C值固定時,在(0,12)范圍內(nèi),人臉識別率隨σ的取值大體呈遞增趨勢。當(dāng)σ大于7時,識別率收斂于95%。
?。?)將高斯核函數(shù)SVM模型參數(shù)的取值范圍限定為C∈(0,100),σ∈(0,10],用自適應(yīng)遺傳算法優(yōu)化其參數(shù),優(yōu)化后的分類器模型用于人臉識別,所得結(jié)果與表1中識別率做對比,對比數(shù)據(jù)如表2。
實(shí)驗(yàn)結(jié)果表明改進(jìn)高斯核函數(shù)SVM模型比高斯核函數(shù)SVM模型有更高識別率。
4 結(jié)束語
本文針對傳統(tǒng)高斯核函數(shù)的兩大不足,提出能克服其缺點(diǎn)的改進(jìn)高斯核函數(shù)作為支持向量機(jī)的非線性映射函數(shù),并使用自適應(yīng)遺傳算法優(yōu)化篩選其參數(shù)及支持向量機(jī)的懲罰系數(shù)C,將優(yōu)化的支持向量機(jī)模型用于ORL人臉庫進(jìn)行實(shí)驗(yàn)仿真,實(shí)驗(yàn)結(jié)果表明,其性能比高斯核函數(shù)支持向量機(jī)分類器模型的性能要好。本文方法的不足之處在于魯棒性和通用性不強(qiáng),只在ORL人臉庫20個人共200張人臉圖像的小樣本情況下才取得較好識別率,對整個ORL人臉庫的40人共400張圖像仿真識別時,并未取得很理想的識別率,所以后續(xù)工作是在人臉圖像特征提取上做深入研究,以及在SVM核函數(shù)及其參數(shù)選擇上再做改進(jìn),以增強(qiáng)分類器的魯棒性和通用性及進(jìn)一步提高人臉識別率。
參考文獻(xiàn)
[1] 張錚,王艷平,薛桂香.數(shù)字圖像處理與機(jī)器視覺[M].北京:人民郵電出版社,2010.
[2] 閻曉娜.支持向量機(jī)的核方法在人臉識別中的應(yīng)用研究[D].青島:中國海洋大學(xué),2012.
[3] 龔純,王正林.精通MATLAB最優(yōu)化計(jì)算[M].北京:電子工業(yè)出版社,2009.
[4] 趙書蘭.數(shù)字圖像處理與分析實(shí)例教程[M].北京:化學(xué)工業(yè)出版社,2009.
[5] 楊淑瑩,張樺.群體智能與仿生計(jì)算——Matlab技術(shù)實(shí)現(xiàn)[M].北京:電子工業(yè)出版社,2012.