《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 其他 > 設(shè)計(jì)應(yīng)用 > 基于二維圖像三維重建的人臉特征提取技術(shù)研究
基于二維圖像三維重建的人臉特征提取技術(shù)研究
來源:微型機(jī)與應(yīng)用2011年第10期
張東波, 朱經(jīng)緯
(湘潭大學(xué) 信息工程學(xué)院, 411105, 湖南 湘潭)
摘要: 采用基于二維圖像的三維重建對(duì)人臉特征進(jìn)行提取。首先應(yīng)用平行雙目視覺原理獲取人臉的二維圖像,然后對(duì)圖像進(jìn)行預(yù)處理,消除圖像上的噪音點(diǎn),增強(qiáng)圖像,以便提取特征點(diǎn),對(duì)這些二維圖像上的特征點(diǎn)進(jìn)行優(yōu)化計(jì)算,最后得到整體人臉的三維特征點(diǎn)信息。
Abstract:
Key words :

摘  要: 采用基于二維圖像的三維重建對(duì)人臉特征進(jìn)行提取。首先應(yīng)用平行雙目視覺原理獲取人臉的二維圖像,然后對(duì)圖像進(jìn)行預(yù)處理,消除圖像上的噪音點(diǎn),增強(qiáng)圖像,以便提取特征點(diǎn),對(duì)這些二維圖像上的特征點(diǎn)進(jìn)行優(yōu)化計(jì)算,最后得到整體人臉的三維特征點(diǎn)信息。
關(guān)鍵詞: 雙目視覺; 人臉特征點(diǎn); 三維重建

    身份識(shí)別與驗(yàn)證是人類社會(huì)日常生活的基本活動(dòng)之一,而作為生物特征識(shí)別技術(shù)的人臉識(shí)別具有巨大的潛在應(yīng)用前景。但是,由于人臉檢測(cè)問題的復(fù)雜性,人臉識(shí)別一般只針對(duì)人臉2D圖像檢測(cè)領(lǐng)域內(nèi)某個(gè)或某些特定的問題,而利用三維數(shù)據(jù)進(jìn)行人臉識(shí)別,可以避免姿態(tài)、光照、表情等因素的影響,解決二維人臉識(shí)別所無法解決的問題,彌補(bǔ)二維人臉識(shí)別方法的不足。
    獲取臉部的三維數(shù)據(jù)形成特定三維人臉模型是三維人臉識(shí)別的基礎(chǔ),目前主要有兩種方法:
    (1)基于激光掃描的三維數(shù)據(jù)獲取方法。激光掃描裝置獲取的數(shù)據(jù)精度高、速度快,可精確獲取物體空間細(xì)節(jié),但是對(duì)計(jì)算機(jī)和處理設(shè)備的性能要求較高,價(jià)格昂貴。另外,激光束有可能會(huì)對(duì)人體產(chǎn)生一定的傷害。因此,該方法不宜應(yīng)用到人臉識(shí)別領(lǐng)域。
    (2)基于二維圖像的三維數(shù)據(jù)獲取技術(shù)。它是利用普通攝像機(jī)獲取的兩幅或多幅圖像來合成三維信息。這種方法硬件設(shè)備比較普通,但是要求處理算法有足夠高的魯棒性和實(shí)用性。現(xiàn)有的成果尚不成熟,多處于理論研究的探索階段,還沒有達(dá)到廣泛應(yīng)用的水平。
1 平行雙目視覺原理
    雙目立體視覺基于視差原理, 圖1所示為一種理想的平行雙目立體視覺模型,它由兩個(gè)完全相同的攝像機(jī)構(gòu)成,攝像機(jī)焦距為f,兩個(gè)圖像平面位于一個(gè)平面上,兩個(gè)攝像機(jī)的光軸相互平行,且x軸重合,攝像機(jī)之間在x軸方向上的間距為基線距離B??臻g特征點(diǎn)P分別在左、右攝像機(jī)上獲得了投影圖像,坐標(biāo)分別為P1(X1,Y1,Z1)、P1(X2,Y2,Z2)。設(shè)置兩個(gè)攝像機(jī)在同一平面上,那么坐標(biāo)P1(X1,Y1,Z1)、P1(X2,Y2,Z2)中Y1=Y2,Z1=Z2。根據(jù)相似三角形原理,可得:

    由式(1)可得特征點(diǎn)P在攝像機(jī)坐標(biāo)系下的三維坐標(biāo),其中f是相機(jī)的焦距。該方法基于雙目視覺原理,理論上可以得到人臉任意位置的3D圖像信息,但是由于圖像分辨率等原因,很難用這種方法從2D圖像中獲取準(zhǔn)確的3D信息。如果對(duì)人臉進(jìn)行多角度的2D圖像獲取,則對(duì)于人臉上同一點(diǎn),由式(1)計(jì)算出的位置信息就會(huì)有多個(gè)。由于種種原因(圖像拍攝時(shí)的光照變化、人臉的角度不同、圖像傳輸中的噪音等),這些冗余的位置信息對(duì)于同一個(gè)空間點(diǎn)的位置肯定存在差異。
    如圖2所示,鼻尖點(diǎn)的位置在側(cè)臉圖中很容易區(qū)分,而在正臉圖中區(qū)分就比較困難。在側(cè)臉圖中,人面部的顏色與背景顏色區(qū)別很大,反映在圖像的灰度值上,其灰度值的級(jí)別相差較大。而在正臉圖像中,鼻尖點(diǎn)只是面部的一個(gè)點(diǎn),它的顏色與周圍的面部點(diǎn)顏色差別不大,甚至由于光照的因素,鼻尖點(diǎn)上面的位置點(diǎn)處顏色更亮一些。


    所以,在三維情況下,臉部的各個(gè)特征位置,對(duì)于某一特定觀測(cè)角度,有最佳的觀測(cè)效果。而這個(gè)特定的觀測(cè)角度主要考慮兩點(diǎn):臉部的幾何結(jié)構(gòu)特征較突出以及有比較強(qiáng)烈的顏色對(duì)比度。例如,觀測(cè)鼻尖點(diǎn)的位置的最佳角度是側(cè)臉的位置,這是因?yàn)楸亲虞喞捅尘邦伾顒e較大,容易選取;人臉部輪廓在正臉時(shí)就比較清楚,而在側(cè)臉時(shí)就不容易選取。
    首先明確人臉有哪些特征部位,人臉圖像中比較明顯的特征位置像鼻尖點(diǎn)、眉毛內(nèi)外側(cè)點(diǎn)、內(nèi)外眼角點(diǎn)、鼻翼點(diǎn)、鼻下點(diǎn)、嘴角點(diǎn)、下巴點(diǎn)、臉部輪廓點(diǎn)等,如圖3所示。
    不同的觀測(cè)角度,對(duì)同一點(diǎn)都會(huì)有選取,例如下巴最低點(diǎn)在正面圖與側(cè)面圖中都可以選取,但是很明顯側(cè)面圖的該點(diǎn)選取較為容易。如果以雙目3D視覺為基礎(chǔ),采用一對(duì)相機(jī)照射人臉正面,而用另外一對(duì)相機(jī)照射人臉側(cè)面,這樣就會(huì)有兩組人臉面部特征點(diǎn)的3D坐標(biāo)值。那么一些點(diǎn)的選取采用正面照的3D坐標(biāo)就會(huì)比較接近實(shí)際值(例如臉部輪廓點(diǎn)、內(nèi)衛(wèi)眼角點(diǎn)、鼻翼點(diǎn)、嘴角點(diǎn)、眉毛的內(nèi)外側(cè)點(diǎn)等);而另一些點(diǎn)的坐標(biāo)值采取側(cè)面照得到的坐標(biāo)值就會(huì)比較準(zhǔn)確(例如鼻尖點(diǎn)、鼻下點(diǎn)、下巴最低點(diǎn)、嘴唇的上下點(diǎn))。
    選取的特征點(diǎn)越多,對(duì)于建立人臉的3D模型就會(huì)越豐富。同時(shí),如果增加照射人臉的相機(jī)數(shù)目越多,獲得同一特征點(diǎn)的3D坐標(biāo)信息就越多,對(duì)這些坐標(biāo)進(jìn)行優(yōu)化計(jì)算,就會(huì)越接近實(shí)際值。
2 人臉特征點(diǎn)提取
    積分投影法是根據(jù)圖像在某些方向上的投影分布特征來進(jìn)行檢測(cè)的,這種方法在本質(zhì)上是一種統(tǒng)計(jì)方法,主要有水平投影和垂直投影:

    在式(2)中,(x,y)表示圖片像素所處的位置,I(x,y)表示該像素的灰度值,n表示一行所有的像素點(diǎn)數(shù),可見水平投影就是將一行所有的像素點(diǎn)的灰度值進(jìn)行累加后再顯示。式(3)中,(x,y)表示像素所處的位置,I(x,y)表示該像素的灰度值,m表示一行所有的像素點(diǎn)數(shù),可見垂直投影就是將一行所有的像素點(diǎn)的灰度值進(jìn)行累加。通過這種方法,可以將目標(biāo)與背景區(qū)分,并且可以找到特征點(diǎn)的大致一個(gè)矩形區(qū)域。特征點(diǎn)還可以通過對(duì)圖像各個(gè)像素點(diǎn)灰度值的一階與二階微分處理來取得。特征點(diǎn)像素的灰度值與相鄰像素點(diǎn)的灰度值差別較大時(shí),I(x,y)的一階與二階的梯度、微分拉普拉斯算子的值較大,取其變化較為明顯的點(diǎn)即為特征點(diǎn)。

    綜合運(yùn)用積分法與一階、二階微分法,可以得到人臉的特征點(diǎn)的位置信息。先對(duì)圖像直方圖做均衡化處理,使整個(gè)圖像對(duì)比度增強(qiáng),圖像清晰;再對(duì)圖像進(jìn)行二階微分,即為高斯型拉普拉斯算子(Laplacian of a Gaussian)處理得到的圖像邊緣,如圖4所示。可以看出面部有許多噪音點(diǎn),為了更加精確地提出特征點(diǎn)的位置信息,對(duì)圖像進(jìn)行濾波處理。

    對(duì)圖片在頻域內(nèi)進(jìn)行處理,圖像中的噪音點(diǎn)屬于高頻信號(hào),所以采用低通濾波在傅氏平面內(nèi)把這些高頻信號(hào)濾除,并對(duì)圖像進(jìn)行增強(qiáng),如圖5所示。


3 實(shí)驗(yàn)結(jié)果
    實(shí)驗(yàn)采用兩個(gè)數(shù)碼相機(jī),按照雙目視覺的原理,兩個(gè)相機(jī)光軸平行放置,用于采集人的臉部圖像。為了拍攝人臉的不同角度,采用一個(gè)棋盤網(wǎng)格圖面作為拍攝參考,對(duì)不同角度下的特征點(diǎn)進(jìn)行歸一化處理。實(shí)驗(yàn)采取了5組人臉在不同角度的圖像,5組圖像又分為上下兩個(gè),分別是兩個(gè)CCD相機(jī)對(duì)同一目標(biāo)同時(shí)拍攝的圖像,如圖6所示。從圖6可以看出上下兩個(gè)圖像稍有差異。

    圖7是對(duì)圖像進(jìn)行處理后,通過平行目視覺原理得到的人臉面部特征點(diǎn)。

    根據(jù)實(shí)際的人臉的特征信息(例如兩內(nèi)眼角間的距離,兩嘴角間的距離),對(duì)獲取到的實(shí)驗(yàn)點(diǎn)的三維位置坐標(biāo)數(shù)據(jù)進(jìn)行判斷,可知雙目視覺原理獲得的實(shí)驗(yàn)數(shù)據(jù)基本符合實(shí)際值,這些特征值可以作為三維人臉識(shí)別技術(shù)的依據(jù)(三維形變模型等)。
參考文獻(xiàn)
[1] 張翠平,蘇光大.人臉識(shí)別技術(shù)綜述[J].中國圖象圖形學(xué)報(bào),2002,7(11):7-16.
[2] 張欣,徐彥君,杜利民.彩色圖像中主要人臉特征位置的全自動(dòng)標(biāo)定[J].中國圖象圖形學(xué)報(bào),2000,5(2):52-57.
[3] 周杰,盧春雨,張長永,等.人臉自動(dòng)識(shí)別方法綜述[J].電子學(xué)報(bào),2000(4):102-106.
[4] ZHAO W. Robust image based 3D face recongnition[D]. University of Maryland, College Park, 1999.
[5] 山世光,高文,陳熙霖.基于紋理分布和變形模板的面部特征提取[J].軟件學(xué)報(bào), 2001,12(4):570-577.
[6] 焦峰,山世光,崔國勤,等.基于局部特征分析的人臉識(shí)別方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2003,15(1):53-58.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。