楊作寶1,2，侯凌燕1,2，楊大利1,2

1. 北京信息科技大學(xué) 計算機學(xué)院，北京 100101； 2. 網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點實驗室，北京 100101

　　摘要：針對人臉多姿態(tài)導(dǎo)致人臉識別率下降這一問題，提出一種改進姿態(tài)矯正處理方法,通過改進對人臉特征點的有效定位，來計算人臉姿態(tài)旋轉(zhuǎn)的角度，再通過角度和改進姿態(tài)矯正方法來矯正非標(biāo)準(zhǔn)姿態(tài)人臉到近似標(biāo)準(zhǔn)姿態(tài)。由于人臉是不規(guī)則的橢球形，提出對人臉“三庭五眼”的局部區(qū)域進行二次矯正方法，再改進SURF算法進行人臉特征點匹配。該方法能夠?qū)⒁欢ń嵌确秶鷥?nèi)的多姿態(tài)人臉矯正到近似標(biāo)準(zhǔn)姿態(tài)。實驗結(jié)果表明，該方法能在一定程度上提高多姿態(tài)人臉識別率，較經(jīng)典PCA方法錯誤率可下降10%左右。

　　關(guān)鍵詞：人臉識別；姿態(tài)矯正；姿態(tài)旋轉(zhuǎn)；SURF算法

0引言

　　人臉識別技術(shù)是當(dāng)代人工智能、模式識別、計算機視覺領(lǐng)域中的熱門研究課題之一 ［1］。在公安系統(tǒng)的犯罪身份識別、銀行海關(guān)的監(jiān)控系統(tǒng)及機場、火車站的安檢系統(tǒng)等場合有著巨大應(yīng)用價值。通過實際生活中對人臉識別的檢測結(jié)果得出，姿態(tài)因素是影響人臉識別結(jié)果的主要原因之一，己經(jīng)成為限制人臉識別技術(shù)進步的難點。

　　近年來，學(xué)者們提出眾多解決人臉識別技術(shù)姿態(tài)問題的想法，但還沒有一套完備的方法理論，可以完全消除人臉圖像的多視角難題。目前在解決多姿態(tài)視角問題上有以下幾種主流方法:

　?。?）基于多視圖的人臉識別。該方法的識別是在可控條件下拍攝人臉圖像，需要采集每個人不同姿態(tài)的人臉圖像,訓(xùn)練集數(shù)量越大，測試圖像與人臉訓(xùn)練模型比對匹配時精度越高，識別正確率就越高。如K-means聚類［2］，LLR算法［3］、水平鏡像和決策融合［4］等，這些方法因其簡易、有效等特性被廣泛應(yīng)用。該類方法的不足是：需要拍攝每人不同視角的圖像形成多視圖。這在諸如抓捕在逃犯罪分子之類的場合是不可行的。

　?。?）由單張人臉圖像生成多角度人臉圖像。該類方法往往是一個人臉僅有一個姿態(tài)樣本圖像，主要目的是解決單一樣本或者較少樣本的情況下識別率低的問題。通過單一人臉合成多角度人臉圖像，增加識別率。諸如局部加權(quán)平均［5］、虛擬樣本擴張法［6］、高斯過程回歸［7］等。由單張圖像合成多角度人臉圖像的方法要求準(zhǔn)確度達到一定的標(biāo)準(zhǔn)，而實際中合成該類方法得出的形變函數(shù)和要代表的人臉差異性比較大。對于非剛性結(jié)構(gòu)的人臉，像日常的消瘦和臃腫、情緒的喜怒哀樂等變化，也會加大識別的難度。

　?。?）人臉姿態(tài)標(biāo)準(zhǔn)化。要矯正人臉到標(biāo)準(zhǔn)姿態(tài)，是由于實際中往往得不到正面人臉圖像，通過圖像合成函數(shù)，把不同角度的人臉圖像矯正到標(biāo)準(zhǔn)人臉圖像，再與原有人臉圖像庫中人臉進行比對。此類方法有仿射變換［8］、正弦變換［9］ 、Clifford代數(shù)矯正［10］等，這種基于姿態(tài)矯正的方法具有時間復(fù)雜度低、識別更加精準(zhǔn)等特點。對特征點有效提取和特征點匹配等方法進一步優(yōu)化，可以較好地合成出人臉標(biāo)準(zhǔn)姿態(tài)圖像。

　?。?）使用與姿態(tài)無關(guān)的特征進行識別。直接提取對姿態(tài)變化不敏感的特征進行識別，如膚色、表情等。該方法有如下優(yōu)點：不需要大量的已知姿態(tài)人臉圖像，不同的人只需少量的樣本；對測試樣本姿態(tài)變化的泛化能力強。典型方法有多因素分析算法［11］、外形和紋理的分布模型［12］等，該方法對人面部的旋轉(zhuǎn)有很強的魯棒性。但使用姿態(tài)無關(guān)特征也有缺點：它對標(biāo)志點的定位十分敏感，需要計算大量的參數(shù)，且在參數(shù)確定上有待商榷。

　　實際中公安系統(tǒng)僅有一份身份證照片,在進行身份比對時，姿態(tài)變化復(fù)雜，訓(xùn)練樣本少，效果不理想。本文使用相對較少的訓(xùn)練樣本，在通用人臉圖像庫上進行實驗，結(jié)果表明，使用本文方法進行識別有相對較高的識別率，錯誤率較經(jīng)典PCA方法下降10%左右，能夠有效克服一定條件下多姿態(tài)變化對人臉識別的影響。

1多姿態(tài)人臉旋轉(zhuǎn)角度測定

　　人臉姿態(tài)的變化通常有以下三種情況:平面外俯仰旋轉(zhuǎn)、平面外左右旋轉(zhuǎn)以及平面內(nèi)旋轉(zhuǎn)，即分別繞X、Y、Z三個軸旋轉(zhuǎn)。圖1標(biāo)出了人臉在空間中的三個旋轉(zhuǎn)方向。

　　1.1人臉特征點坐標(biāo)定位

　　對于人臉圖像關(guān)鍵點的定位，應(yīng)用方差積分投影對灰度值的敏感性，計算關(guān)鍵點的坐標(biāo)。由于人臉特征是有一定對應(yīng)關(guān)系的，通過關(guān)鍵點對應(yīng)比值、距離等關(guān)系，對測試圖像的旋轉(zhuǎn)角度進行測定。假設(shè)圖像中坐標(biāo)(x，y)處的灰度值為H(x,y)，則圖像的水平積分投影Sh(y)、垂直積分投影Sv(x)，在［x1,x2］和［y1,y2］區(qū)域內(nèi)可分別表示為：

　　對于灰度積分投影水平和垂直的函數(shù)值進行分析，可以有效得出關(guān)鍵點。為了避免出現(xiàn)均值相同的情況，采用兩種方法取均值能更精確地提取特征點的位置。圖像在(x1,x2)和(y1,y2)區(qū)域內(nèi)的水平方向的方差積分投影和垂直方向的方差積分投影可分別表示為:

　　通過“三庭五眼”人臉區(qū)域先估算人臉特殊點（眼睛、鼻子、嘴）的大概位置，再通過積分投影準(zhǔn)確定位。人臉中其他區(qū)域的灰度值要明顯低于人眼瞳孔的灰度值。而人眼瞳孔的位置，在鼻尖的左斜上方和右斜上方，特定區(qū)域搜索，找出灰度值的最小點，即為左右瞳孔、眼睛的位置；在灰度圖上由于瞳孔的灰度特征相對明顯，可以較容易地提取出來；通過瞳孔和眼睛的大小可以確定左右眼角的坐標(biāo)位置。

　　對于嘴巴的定位采取二值化算法，由于嘴巴位于人臉的下半部分，對于眼睛、眉毛、眼鏡等主要的干擾因素，可以在區(qū)域劃分時忽略不計。針對人臉的區(qū)域劃分進行閾值選擇，由于閉區(qū)域選擇法的特殊性，會使嘴巴區(qū)域的輪廓信息更為完整地凸顯。相對于嘴巴，橫向距離的寬度要大于縱向距離，且嘴巴區(qū)域是圓弧形連通的，較為集中。根據(jù)這些條件將嘴巴區(qū)域的坐標(biāo)位置進行定位，進而確定嘴中心和左右嘴角的坐標(biāo)位置。

　　對于鼻子，鼻尖和鼻孔都是孤立的點，而且鼻孔在圖像中通常比其他區(qū)域的像素的灰度值暗，從而形成黑斑。而鼻尖往往亮度高形成亮點。而Quoit濾波是基于數(shù)理形態(tài)學(xué)的濾波器，對孤立點定位精度高，可以定位鼻尖和鼻孔。使用Quoit濾波器的數(shù)理形態(tài)進行人鼻定位。Quoit濾波器公式定義：

　　可知e為圖像輸入,M為圓形元素，R為環(huán)結(jié)構(gòu)。具體算法描述如下：對人臉圖像先進行歸一化處理，灰度值取補，這可以使圖像提取效果更加準(zhǔn)確；對鼻尖和鼻孔使用濾波器進行處理后，再進行二值化處理，得到黑白圖像，使關(guān)鍵點明顯可見。左右鼻孔的選擇點就是白色部分。該算法很大程度上降低了運算時間。人臉特征點的坐標(biāo)定位如圖2所示。

　　1.2旋轉(zhuǎn)姿態(tài)角度計算

　　Z軸上的人臉旋轉(zhuǎn)角度：由兩眼中心的連線與水平線的夾角得出，設(shè)旋轉(zhuǎn)后兩眼中心坐標(biāo)分別為(x1,x2),(y1,y2)，則角度的計算公式為：

　　計算出這個值，就可以計算出水平狀態(tài)的旋轉(zhuǎn)角度。

　　Y軸上的人臉旋轉(zhuǎn)角度：當(dāng)人臉沒有旋轉(zhuǎn)時，人臉中分線正好位于人臉圖像的中間；當(dāng)人臉繞Y軸旋轉(zhuǎn)時，反映到圖像平面，表現(xiàn)為人臉中分線偏離人臉圖像的中心位置。假設(shè)人臉只是繞Y軸旋轉(zhuǎn)，左眼中心、右眼中心與嘴中心夾角的斜率分別為：tanβ1=k1，tanβ2=k2。左右眼外眼角與鼻尖的夾角差值：βnose=β1-β2，同理還可求得內(nèi)眼角與嘴中心的夾角差值βeye，鼻尖與左右嘴角的夾角差值βmouth，三個差值取均值，定位Y軸上人臉旋轉(zhuǎn)的角度，公式如下：

　　X軸上的人臉旋轉(zhuǎn)角度：通過側(cè)視圖，得到人臉、嘴巴與水平線的夾角α1,α2，則計算公式如下：

2人臉姿態(tài)矯正算法

　　在一定程度上訓(xùn)練集和測試集的同一性影響著人臉識別的結(jié)果。兩者同一程度大，識別率就高。而往往攝像機拍到的人臉圖像是存在各種姿態(tài)角度的，它們作為測試集就需要先矯正到標(biāo)準(zhǔn)視圖人臉，再進行匹配識別。

　　把人臉分成很多小塊，每一個小塊就可近似認(rèn)為是平面的，這時，可以充分發(fā)揮仿射變換的優(yōu)勢，處理更大區(qū)域內(nèi)的姿態(tài)變化，提高整個算法對姿態(tài)變化的魯棒性。仿射變換可用下式來表示：

　　x=Dx0+b，|D|≠0（9）

　　其中，x,x0,b∈R2；D∈R2×2，x是對x0進行仿射變換后的結(jié)果，其可以看做是平移、縮放、旋轉(zhuǎn)、錯切、反射這5種變換的組合［13］。而典型的變換主要有旋轉(zhuǎn)變換、縮放變換和平移變換。二維仿射變換的算法如下：

　　通常情況下，人臉的兩臉頰在有姿態(tài)變化時，變化的弧度會更大，這就使人臉邊界容易發(fā)生扭曲現(xiàn)象?！叭ノ逖邸笔侨说念^部的比例。三庭是指下巴到鼻尖、鼻尖到眼眉、眉毛到發(fā)髻線，這三個部分被認(rèn)為是相等的。五眼則更明顯，如圖3所示。因此，對人臉三庭五眼分塊，再對邊緣輪廓區(qū)域進行二次矯正，將存在一定姿態(tài)且存在一定程度形變的人臉邊緣映射為標(biāo)準(zhǔn)正面人臉圖像邊緣，使人臉識別更加準(zhǔn)確。

　　針對人臉識別算法對姿態(tài)變化局部敏感的問題，提出局部姿態(tài)二次矯正算法，通過對人臉進行三庭五眼分塊，并利用二次矯正函數(shù)對姿態(tài)邊緣輪廓建模，有效提高參數(shù)估計精度。中心問題是把人臉圖像進行“三庭五眼”區(qū)域劃分，利用矯正模型處理邊緣輪廓的姿態(tài)，得出最優(yōu)變換。該算法利用最小誤差為各局部區(qū)域估計較優(yōu)的初值，有利于小范圍最優(yōu)，使算法識別性得到提高。圖像變換參數(shù)描述圖像間的變換關(guān)系，如下式：

　　其中，參考圖像上的點為(x′,y′)，目標(biāo)圖像上與之對應(yīng)的點為(xi,yi)。變換矩陣有四對，可以選擇４對匹配點計算得出。假設(shè)匹配點都是正確的，則實際的矩陣與計算出的矩陣基本吻合。

3人臉識別算法

　　SURF(SpeedUp Robust Features)［14］算法，是Bay等人提出的根據(jù)特征點周邊范圍的灰度值信息進行統(tǒng)計的一種匹配算法，主要用來計算主方向和特征向量的圖像配準(zhǔn)。本文對SURF算法的特征點描述和特征匹配部分加以改進，提出最近鄰匹配算法對最終匹配識別結(jié)果進行尋優(yōu)，減小特征點匹配的等待時間，提高最終識別率。

　　對于一幅圖像而言，從圖像的左上角到這個點所構(gòu)成的矩形方框內(nèi)所有點的灰度值之和等價于這個積分圖像中的任意像素點(x，y)的值。設(shè)G表示原始圖像，P∑(x,y)表示積分圖像，則有:

　　積分圖像加快了圖像卷積運算，降低了時間復(fù)雜度，加快了特征矢量的生成。

　?。?）興趣點檢測

　　針對平滑處理過后的圖像，在所有尺度空間上計算該像素點在該處的Hessian矩陣，計算完Hessian矩陣行列式的值后，再檢測興趣點。令圖像中某點像素值為(α,β)，則下面的Hessian矩陣為δ尺度上的Hessian矩陣：

　　其中，Hαα(α,β,δ)，Hαβ(α,β,δ)，Hββ(α,β,δ)都表示在(α,β)處二階偏導(dǎo)與圖像I的卷積。

　　(2)定位特征點和確定主方向

　　SURF在不同的尺度下尋找特征點，用抑制方法對圖像進行抽樣，求出極值后，將每一個像素點的Hessian值均分為26個像素點（同層相鄰8個、上下兩層毗鄰9個）進行比對，才能得出候選點。插值運算完以后，僅有幾個特征會最終被檢測出來，得到更精確的尺度和位置。

　?。?）生成描述子

　　相對于主方向，對每個子區(qū)域的水平和垂直方向的Harr小波響應(yīng)都進行累加求和，生成一個四維的向量，得到的描述符如下:

　　其中，D為四維向量，dx為水平方向響應(yīng)、dy為垂直方向響應(yīng)，對64維的特征向量進行歸一化處理，得到特征點的描述符。

　?。?）最近鄰匹配的改進

　　對于關(guān)鍵點的匹配，采用SURF自身的識別進行挑選，選用最近鄰匹配的思想對結(jié)果進行尋優(yōu)；通過測試圖像與模板圖像的特征點匹配對數(shù)得出結(jié)論。以關(guān)鍵點特征向量之間的真實距離為衡量標(biāo)準(zhǔn)，兩個向量之間的距離越小，則認(rèn)為匹配越成功。公式如下：

　　假設(shè)SA是實時圖像中的點，SB是模板圖像中的點，它們的描述子向量分別為DA、DB，而DAi，DBi分別是它們的第i個分量，則PA和PB之間的歐式距離定義為：

　　最近鄰歐氏距離與次近鄰歐氏距離作比，若比值在一定的閾值范圍內(nèi)，則認(rèn)為匹配正確，否則錯誤。經(jīng)過不斷地測試表明，［0.5,0.6］范圍內(nèi)是最優(yōu)閾值。

　　Value=d最近鄰d次近鄰=∈［0.5,0.6］,正確匹配

　　對測試圖像與不同模板圖像的關(guān)鍵點匹配對數(shù)進行有效比較，判別匹配點數(shù)最多的為匹配的最終結(jié)果。

4實驗結(jié)果及其分析

　　為了驗證本文提出的改進方法的有效性，采用以下幾種方法分別進行處理：直接在原圖像上采用PCA，LDA，LBP方法進行識別；將姿態(tài)進行矯正后再利用三種方法進行識別；采用文獻［8］的方法進行識別；本文的改進算法對圖像進行處理后進行識別。在ORL和FERET兩個著名的人臉數(shù)據(jù)庫上進行實驗。圖4是本文算法對三種姿態(tài)圖像處理的結(jié)果，從視覺效果上看，有效地抑制了多姿態(tài)變化，且對局部人臉姿態(tài)矯正有更好的校正效果。

　　4.1ORL人臉庫

　　ORL人臉庫［14］包含40個人的400張圖像，每人10幅不同姿態(tài)的圖像，圖像大小都為128×128的灰度圖。每個人10幅人臉均有多種姿態(tài)和多種表情。并且此圖像存在尺度的變化，排列不整齊。分別在不同的方法上實驗比較。每個人的訓(xùn)練張數(shù)分別為i=(1,2,3,4,5)張；其余的10－i張都作為測試集，取10次的均值。實驗結(jié)果如表1。

　　4.2FERET人臉庫

　　FERET人臉庫［15］包含1 199個人的14 129幅圖像，有各種表情、姿態(tài)、光照等。木文采用姿態(tài)子集上1 001張圖像，共143人，每人7張，維度大小80×80，包含不同姿態(tài)旋轉(zhuǎn)和光照變化，分別在不同的方法上實驗比較。每個人的訓(xùn)練張數(shù)分別為i=(1,2,3,4)張；其余的7－i張都作為測試集，取10次的均值。實驗結(jié)果如表2。

　　綜合比較，本文方法在同等訓(xùn)練樣本情況下識別率都不低于對比的其他方法，而且在單訓(xùn)練樣本時，提高了識別率。一定程度上說明采用本文方法能夠矯正一定姿態(tài)角度條件下的人臉圖像，且對人臉識別特征細(xì)節(jié)和局部矯正增強大有幫助。

5結(jié)論

　　姿態(tài)問題是目前研究還沒有根本解決的問題。本文算法適用于對測試人臉圖像的多姿態(tài)變化進行矯正處理，改善了姿態(tài)角度的坐標(biāo)定位及計算方法。在局部畸變的情況下，對邊緣輪廓等區(qū)域進行了二次矯正，通過改進SURF的特征匹配算法，更好地增加了特征點匹配的數(shù)量，具有良好的姿態(tài)矯正功能。選取ORL和FERET人臉庫圖像，結(jié)合其他歸一化處理方法，進行姿態(tài)矯正，實驗表明本文方法對多姿態(tài)人臉矯正有很好效果，顯著提高了識別率。但本文是對一定條件下的多姿態(tài)人臉進行處理，而實際中姿態(tài)變化是復(fù)雜多變的，如何更好地根據(jù)圖像的多變姿態(tài)情況對圖像進行矯正處理是將來急需解決的課題。

參考文獻

　　［1］ 韓彥斌.基于人臉檢測和特征提取的移動人像采集系統(tǒng)［D］.昆明：云南大學(xué),2015.

　?。?］ 王祎灝,宋璟毓.基于SURF特征的人臉識別方法研究［J］.微型機與應(yīng)用,2014，33(7)：3134.

　?。?］ 譚曉衡,張建慧.基于LLR算法的多姿態(tài)人臉識別［J］.計算機應(yīng)用研究,2011，28(1)：392394.

　　［4］ 李全彬,劉錦高,黃智.基于水平鏡像和決策融合的多姿態(tài)人臉識別方法［J］.計算機應(yīng)用與軟件,2012，29(12)：3335.

　　［5］ 楊姝.基于單視圖的多姿態(tài)人臉識別［D］.鎮(zhèn)江：江蘇科技大學(xué)，2013.

　　［6］ 單桂軍.基于虛擬樣本擴張法的單樣本人臉識別算法研究［J］.科學(xué)技術(shù)與工程,2013,13(14):7479.

　?。?］ 應(yīng)競舟，傅忠謙，王建宇.基于高斯過程回歸的多姿態(tài)人臉識別［J］.計算機軟件與應(yīng)用，2015,32(8):174179.

　?。?］ 李海彥，徐汀榮，張立曉，等. 基于仿射變換的多姿態(tài)人臉矯正和識別［J］.計算機應(yīng)用研究，2014,31(4):12151228.

　?。?］ 龔衛(wèi)國，黃瀟瑩，李偉紅.基于正弦變換的人臉姿態(tài)校正及識別研究［J］.計算機工程與應(yīng)用,2010,46(22):213216.

　?。?0］ 丁立軍，馮浩，華亮.Clifford 代數(shù)3D 人臉姿態(tài)矯正方法［J］.小型微型計算機系統(tǒng)，2013 ,34(4):906909.

　　［11］ 侯小靜.基于PCA算法和人臉姿態(tài)合成的人臉識別［D］.長沙：中南大學(xué)，2013.

　　［12］ 劉銳.基于人臉圖像稠密匹配的身份識別技術(shù)研究［D］.合肥：中國科學(xué)技術(shù)大學(xué)，2014.

　　［13］ 孫廣家.計算機圖形學(xué)(第三版)［M］. 北京: 清華大學(xué)出版社, 1998.

　?。?4］ 黨力.自動人臉分析與識別的若干問題研究［D］.合肥：中國科學(xué)技術(shù)大學(xué)，2012.

　　［15］ 安高云.復(fù)雜條件下人臉識別中若干關(guān)鍵問題的研究［D］.北京：北京交通大學(xué)，2008.