摘要： 人臉識別中，發(fā)型遮擋是一種十分常見的遮擋類型，并且對人臉的正確識別具有極大的干擾。提出一種將頭發(fā)的顏色模型和發(fā)型特征相結(jié)合的遮擋檢測方法。首先，采用機(jī)器學(xué)習(xí)的方法，對頭發(fā)的顏色進(jìn)行學(xué)習(xí)建模。然后，利用發(fā)際線的特征，將人臉劃分為若干扇形并分塊，采用逐步精細(xì)的方法對人臉的發(fā)型遮擋區(qū)域進(jìn)行檢測。實(shí)驗(yàn)結(jié)果表明，該方法對人臉區(qū)域發(fā)型遮擋檢測的準(zhǔn)確率和召回率都達(dá)到88%以上，相比PCA檢測方法提高了約20%，驗(yàn)證了該方法的有效性。
關(guān)鍵詞：人臉識別；發(fā)型遮擋；遮擋檢測
0引言
人臉識別作為模式識別領(lǐng)域的熱點(diǎn)研究問題受到了廣泛的關(guān)注，人臉識別技術(shù)在眾多領(lǐng)域的身份驗(yàn)證中有著廣闊的應(yīng)用前景［1］。在實(shí)際人臉圖像處理過程中，人臉圖像的遮擋會經(jīng)常出現(xiàn)，如頭發(fā)、口罩、圍巾等，而遮擋對人臉識別有很大的影響。因此，如何準(zhǔn)確、自動地檢測人臉遮擋區(qū)域成為遮擋人臉識別處理的關(guān)鍵問題之一。
主流的人臉遮擋區(qū)域檢測方法是基于PCA分析檢測方法［23］。該方法包括兩個(gè)關(guān)鍵步驟：在分析階段，將遮擋人臉圖像投影到人臉特征空間，并利用投影系數(shù)重建人臉；在檢測階段，將遮擋人臉圖像與重建人臉圖像進(jìn)行比較，差異越大，判定為遮擋的可能性越大。遮擋區(qū)域根據(jù)重建人臉與原始遮擋人臉的差異來估計(jì)?；谄骄四樀娜四樥趽鯀^(qū)域檢測方法［4］與基于PCA分析檢測方法類似，只是參考圖片選取的是平均臉圖像。
在遮擋人臉識別中，頭發(fā)是極為常見的遮擋物體，給識別帶來較大的不利影響。目前，基于PCA或平均臉的分析檢測方法在很大程度上依賴于參考樣本，對于人臉的位置、姿勢等十分敏感，而發(fā)型遮擋往往伴隨著不同的人臉姿勢。本文在分析了各類遮擋檢測算法后，通過建立發(fā)色模型并結(jié)合發(fā)型特征，提出了一種針對發(fā)型遮擋的人臉遮擋區(qū)域檢測方法。
1方法概述
本文方法主要分為兩個(gè)部分：發(fā)色模型的線下學(xué)習(xí)和發(fā)型遮擋區(qū)域的在線檢測。線下學(xué)習(xí)是利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行發(fā)色和膚色的學(xué)習(xí)，建立頭發(fā)的顏色模型，以便于在線檢測使用；在線檢測是實(shí)時(shí)檢測遮擋圖片的發(fā)型遮擋區(qū)域，給出檢測結(jié)果。
(1)圖1給出了發(fā)色模型學(xué)習(xí)的詳細(xì)步驟：對發(fā)色和膚色RGB樣本數(shù)據(jù)，利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行發(fā)色和膚色訓(xùn)練學(xué)習(xí)，得到一個(gè)發(fā)色模型。給定一個(gè)像素點(diǎn)的RGB值，可以通過該模型粗略評估其是頭發(fā)的概率。
(2)圖2給出了發(fā)型遮擋區(qū)域的檢測步驟：給定一幅圖像，首先根據(jù)人臉進(jìn)行歸一化；之后，以嘴部中心為圓心，將給定的人臉區(qū)域按照角度劃分為若干扇形；對于每個(gè)扇形，按照半徑長度平均劃分為相等數(shù)量的區(qū)塊；然后，對于每個(gè)扇形區(qū)塊，按照距離圓心的距離，由遠(yuǎn)及近進(jìn)行粗略檢測。對于一個(gè)扇區(qū)，取發(fā)色區(qū)塊的下一個(gè)（離圓心更近的）區(qū)塊進(jìn)行精細(xì)分割。
2結(jié)合發(fā)色模型和發(fā)型特征的遮擋檢測
發(fā)型特征包括：長度、體積、發(fā)色等。 對于解決發(fā)型遮擋的檢測問題，可以利用發(fā)色、發(fā)際線等特征。本文將發(fā)色模型和發(fā)型特征進(jìn)行有機(jī)結(jié)合，對人臉的面部發(fā)型遮擋區(qū)域進(jìn)行檢測。
2.1基于人工神經(jīng)網(wǎng)絡(luò)的發(fā)色模型
2.1.1BP人工神經(jīng)網(wǎng)絡(luò)簡介
BP神經(jīng)網(wǎng)絡(luò)［5］是人工神經(jīng)網(wǎng)絡(luò)的一種，它是采用誤差反向傳播的多層前饋神經(jīng)網(wǎng)絡(luò)。其中，3層的BP 網(wǎng)絡(luò)包括一個(gè)輸入層、一個(gè)隱含層、一個(gè)輸出層，如圖3所示。
圖3三層BP神經(jīng)網(wǎng)路BP神經(jīng)網(wǎng)絡(luò)的基本思想是采用信號的正向傳播和誤差的反向傳播。在正向傳播中，從輸入層傳入的數(shù)據(jù)，依次在各隱含層進(jìn)行處理，最終到達(dá)輸出層。如果輸出值與期望輸出不同，則將輸出層的誤差作為調(diào)整信號進(jìn)行反向傳播，根據(jù)誤差不斷調(diào)整權(quán)值和閾值，最終得到網(wǎng)絡(luò)可以接受的精度并輸出。
2.1.2發(fā)色模型
頭發(fā)的顏色與皮膚的顏色往往有比較明顯的區(qū)別，利用發(fā)色能夠有效提高面部發(fā)型遮擋區(qū)域檢測的正確率。
2.2基于發(fā)型特征的扇形分割
給定輸入圖像和發(fā)型區(qū)域，以嘴部位置的中心區(qū)域?yàn)閳A心，將嘴部以上的區(qū)域以每10°劃分為一個(gè)扇形，共18個(gè)徑長不等的扇形（以下簡稱為扇區(qū)），按照逆時(shí)針方向記為S1~S18。對任意的扇形區(qū)域Si，按照徑長平均分為10個(gè)區(qū)塊（以下簡稱為區(qū)塊），按照離圓心的距離由遠(yuǎn)及近依次標(biāo)記為Si,1~Si,10。
2.2.1粗略檢測
形式地，將X={xij:xij∈S}定義為區(qū)塊S的像素點(diǎn)，用Ix表示一個(gè)像素點(diǎn)的顏色向量，Ix=(Rx,Gx,Bx)T；LX=(l1,l2,…,lm)T表示標(biāo)號向量，其中m表示區(qū)塊S中的像素點(diǎn)數(shù)，并且lx=1表示x屬于頭發(fā)，lx=0表示x屬于皮膚。將一個(gè)像素是頭發(fā)的概率表示為P(lx=1)，簡單地，P(lx=1)=ax，其中，ax是ANN發(fā)色模型的輸出值。
對于人臉區(qū)域的每個(gè)扇形，首先對最外層區(qū)塊（S1,1,S2,1,…,S18,1）進(jìn)行檢測。區(qū)塊Si,1中的像素點(diǎn)x，將其RGB值作為ANN發(fā)色模型的輸入，得到輸出值ax。當(dāng)該點(diǎn)的預(yù)測為頭發(fā)概率大于給定閾值時(shí)，則認(rèn)為該像素點(diǎn)屬于頭發(fā)區(qū)域。如果區(qū)塊Si,1中的像素大部分都判定為頭發(fā)區(qū)域時(shí)，則認(rèn)為該區(qū)塊Si,1屬于頭發(fā)區(qū)域，記為預(yù)測遮擋塊。對所有的扇區(qū)，由遠(yuǎn)及近地進(jìn)行區(qū)塊的檢測，直到區(qū)塊不再是預(yù)測遮擋塊為止。每個(gè)扇區(qū)中第一個(gè)不是預(yù)測遮擋塊的區(qū)塊稱為精細(xì)分割塊（以下簡稱精割塊），放到下一步進(jìn)行圖割［6］處理。
2.2.2精細(xì)分割
經(jīng)過2.2.1節(jié)中粗略檢測得到了若干個(gè)精割塊，下一步是在此范圍內(nèi)進(jìn)行精細(xì)的分割。采用221中相同的定義，將X={xij:xij∈S}定義為精割塊S的像素點(diǎn)，用Ix表示像素點(diǎn)的顏色向量，Ix=(Rx,Gx,Bx)T；LX=(l1,l2,…,lm)T表示標(biāo)號向量，其中m表示精割塊S中的像素點(diǎn)數(shù)，并且lx=1表示x屬于頭發(fā)，lx=0表示x屬于皮膚。將一個(gè)像素是頭發(fā)的概率表示為P(lx=1)。定義如下能量函數(shù)：
E(L)=C(L)+αB(L)(1)
其中，α用以權(quán)衡兩項(xiàng)的重要性；C(L)表示像素點(diǎn)的預(yù)測概率；B(L)是平滑項(xiàng)，用以描述相鄰像素標(biāo)號互異時(shí)的懲罰代價(jià)。任意精割塊S中像素的最終的標(biāo)號向量L*X，通過使式(1)達(dá)到最小值來獲得。式(1)中的第一項(xiàng)C(L)定義為：
C(L)=1nx∑x∈Xc(lx)(2)
其中，nx表示精割塊S中像素點(diǎn)的數(shù)量, c(lx)表示發(fā)色模型對像素點(diǎn)x的預(yù)測概率。
式(1)中第二項(xiàng)中的B(L)定義為：
其中，np表示像素點(diǎn)p的相鄰點(diǎn)的個(gè)數(shù)，σ表示圖像的平均平滑度。式(4)采用8鄰域系統(tǒng)，選擇像素點(diǎn)的相鄰點(diǎn)。由于精割塊的形狀大小不同，進(jìn)行了均值化處理。
2.2.3優(yōu)化
直接對式(1)進(jìn)行最小化計(jì)算，復(fù)雜度較高，計(jì)算量非常大。本文提出了一種求近似解的計(jì)算方法。首先，將精割塊S中的像素按照ANN預(yù)測的發(fā)色程度按照從小到大排列；然后，將區(qū)塊內(nèi)所有像素的區(qū)塊起始標(biāo)號都置為1，按照發(fā)色的概率從小到大排序依次將像素標(biāo)號置為0；最后，分別計(jì)算能量函數(shù)的值。選取使能量函數(shù)達(dá)到最小值時(shí)的標(biāo)號向量作為最優(yōu)解。
3實(shí)驗(yàn)和結(jié)果分析
實(shí)驗(yàn)數(shù)據(jù)采集28個(gè)人的人臉圖像，分為正面、左側(cè)面和右側(cè)面三個(gè)姿勢，偏轉(zhuǎn)角度在10°~30°之間，發(fā)型遮擋包括正面單側(cè)遮擋、正面兩側(cè)遮擋、左側(cè)面遮擋、右側(cè)面遮擋、發(fā)簾遮擋等類型。人臉圖像庫包括28人269張發(fā)型遮擋圖像，每張圖像歸一化為50×75像素。
將樣本數(shù)據(jù)劃分為遮擋與未遮擋兩類，并且人工標(biāo)注所有遮擋樣本的發(fā)型遮擋區(qū)域。測試PCA遮擋檢測及本文所提出遮擋檢測方法的準(zhǔn)確率P、召回率R及Fvalue。Fvalue的定義為2PRP+R。其中，P表示面部遮擋檢測的頭發(fā)區(qū)域和人工標(biāo)注的頭發(fā)區(qū)域一致的像素所占的比例，R表示面部人工標(biāo)注的頭發(fā)區(qū)域和遮擋檢測的頭發(fā)區(qū)域一致的像素所占的比例。對所有實(shí)驗(yàn)分別調(diào)整參數(shù)以達(dá)到最優(yōu)的Fvalue值。下面通過兩個(gè)試驗(yàn)對比本文方法與PCA檢測方法的優(yōu)劣。
實(shí)驗(yàn)1該實(shí)驗(yàn)采用數(shù)據(jù)集中的正面人臉，數(shù)據(jù)包含109張遮擋人臉圖像，實(shí)驗(yàn)結(jié)果如表1所示。
由表1可以看出，在正面人臉的條件下，PCA檢測方法的Fvalue為69%，相應(yīng)的準(zhǔn)確率和召回率分別為63%和76%。本文方法比PCA檢測方法的Fvalue提高了20%，準(zhǔn)確率和召回率分別提高了27%和12%。實(shí)驗(yàn)2該實(shí)驗(yàn)采用全部的數(shù)據(jù)，包含269張不同姿勢的遮擋人臉圖像，實(shí)驗(yàn)結(jié)果如表2所示。
由表2可以看出，在不同姿勢的人臉條件下，PCA檢測方法的Fvalue為57%，相比正面人臉條件下降低了12%，相應(yīng)的準(zhǔn)確率和召回率降低10%左右。而本文方法與正面人臉條件下的Fvalue相比變化不大，說明比PCA檢測方法具有更強(qiáng)的魯棒性。
4結(jié)論
發(fā)型遮擋對人臉識別具有極大的干擾，如何準(zhǔn)確獲取遮擋區(qū)域是處理遮擋中需要解決的問題。由于各種形狀和不同紋理，使得發(fā)型遮擋區(qū)域檢測非常困難 。實(shí)驗(yàn)表明，本文提出的方法比PCA遮擋檢測方法具有更高的準(zhǔn)確率和召回率，驗(yàn)證了該方法的有效性。
參考文獻(xiàn)
?。?］ CHELLAPPA R, WILSON C L, SIROHEY S. Human and machine recognition of faces: a survey［J］. Proceedings of the IEEE, 1995, 83(5): 705741.
?。?］ 杜成, 蘇光大. 用于人臉識別的正面人臉圖像眼鏡摘除［J］. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2005, 45(7): 928930.
?。?］ 王志明, 陶建華. 人臉遮擋區(qū)域檢測與重建［J］. 計(jì)算機(jī)研究與發(fā)展, 2015, 47(1): 1622.
［4］ 李冬梅, 熊承義, 高志榮,等. 基于異值區(qū)域消除的遮擋人臉識別［J］. 計(jì)算機(jī)科學(xué), 2015, 42(3):289295.
?。?］ MCCLELLAND J L, KAWAMOTO A H. Parallel distributed processing［C］. Rumelhart and McClelland (eds.)， 1986（I）:4576.
［6］ BOYKOV Y, VEKSLER O, ZABIH R. Fast approximate energy minimization via graph cuts［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(11): 12221239.