《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 其他 > 業(yè)界動(dòng)態(tài) > 視頻圖像的人臉檢測(cè)方法

視頻圖像的人臉檢測(cè)方法

2008-03-31
作者:苗毓虹,姜 軍,張桂林,熊

  摘 要: 根據(jù)視頻序列圖像的運(yùn)動(dòng)連續(xù)性特點(diǎn),初步對(duì)人臉" title="人臉">人臉所在區(qū)域進(jìn)行定位,針對(duì)人臉檢測(cè)" title="人臉檢測(cè)">人臉檢測(cè)系統(tǒng)實(shí)時(shí)性的需要,改進(jìn)了Adaboost學(xué)習(xí)算法。提出一種新的視頻環(huán)境下人臉檢測(cè)方法。實(shí)驗(yàn)證明該方法能夠精確定位人臉,有較強(qiáng)的實(shí)用性。
  關(guān)鍵詞: 人臉檢測(cè) 變化檢測(cè)" title="變化檢測(cè)">變化檢測(cè) Adaboost 膚色模型


  隨著智能化技術(shù)和監(jiān)控技術(shù)在各個(gè)領(lǐng)域的廣泛應(yīng)用,人臉檢測(cè)作為自動(dòng)人臉識(shí)別的關(guān)鍵環(huán)節(jié)受到越來(lái)越多的重視。人臉檢測(cè)是指在圖片中確定人臉位置的過(guò)程,其定位的準(zhǔn)確性將直接影響到人臉識(shí)別的結(jié)果。目前人臉檢測(cè)有三種類型[1]:膚色區(qū)域分割、基于啟發(fā)式模型和基于統(tǒng)計(jì)模型的方法。膚色分割的局限性在于受復(fù)雜背景和光照的影響較大?;趩l(fā)式模型的方法首先抽取特征,然后檢驗(yàn)是否符合人臉的先驗(yàn)知識(shí)。統(tǒng)計(jì)模型是把人臉看作一類模式構(gòu)造分類器" title="分類器">分類器,通過(guò)判別圖像中區(qū)域可能屬于哪類模式的方法實(shí)現(xiàn)人臉的檢測(cè)。
  針對(duì)攝像機(jī)固定的監(jiān)視應(yīng)用提出了一種在視頻環(huán)境下檢測(cè)人臉的方法。從結(jié)果分析,本文基于視頻圖像" title="視頻圖像">視頻圖像的人臉檢測(cè)方法在檢測(cè)率和速度上均滿足系統(tǒng)要求。
1 人臉檢測(cè)系統(tǒng)框架
  人臉檢測(cè)系統(tǒng)以攝像機(jī)采集到的圖像為輸入得到人臉的位置信息。視頻圖像人臉檢測(cè)算法流程如圖1所示。


2 人臉區(qū)域檢測(cè)
2.1 基于變化檢測(cè)的目標(biāo)定位
  人臉圖像采集系統(tǒng)的采像環(huán)境和位置是固定的,因此采用背景差分的方法。首先選取n幅圖像目標(biāo)進(jìn)入視場(chǎng)的背景圖像f(x,y,ti),i=1,2,…,n,運(yùn)用時(shí)間中值濾波或均值濾波的方法得到模型的背景圖像,記為B(x,y)。將當(dāng)前圖像與這個(gè)建立的背景圖像做差分來(lái)找到運(yùn)動(dòng)物體,記為變化檢測(cè)后的D(x,y,ti)。
  由D(x,y,ti)=|f(x,y,ti)-B(x,y)|,i=1…,n???????????????????? (1)
  得到當(dāng)前時(shí)刻的運(yùn)動(dòng)區(qū)域。變化檢測(cè)示意圖如圖2所示。圖2(a)為當(dāng)前圖片,圖2(b)是變化檢測(cè)后的結(jié)果。對(duì)變化的區(qū)域做后續(xù)處理工作,去除小的變化區(qū)域,找到圖像中最大的連通區(qū)域并進(jìn)行標(biāo)記。


  由于圖像分割和背景更新等問(wèn)題不是本文重點(diǎn),故此處省略。
2.2 改進(jìn)的Adaboost人臉檢測(cè)算法
  Adaboost算法是Freund等人[2]提出的一種Boost算法。它是自動(dòng)地從弱分類器空間中挑選出若干個(gè)弱分類器整合成一個(gè)強(qiáng)分類器。在訓(xùn)練過(guò)程中調(diào)整樣本的權(quán)重,使得Adaboost能夠“聚焦于”那些比較困難的樣本。該算法主要有訓(xùn)練和檢測(cè)兩個(gè)部分,用其進(jìn)行人臉檢測(cè),速度快且定位準(zhǔn)確。本文針對(duì)視頻應(yīng)用環(huán)境對(duì)算法做了改進(jìn),提高了檢測(cè)速度。
  (1)訓(xùn)練和檢測(cè)算法
  首先選取合適的樣本,取矩形特征作為訓(xùn)練中的弱分類器。為了顯著地提高人臉檢測(cè)的速度,將復(fù)雜分類器的問(wèn)題拆分成若干弱分類器,對(duì)這些弱分類器進(jìn)行篩選,得到一系列強(qiáng)分類器,再將這些強(qiáng)分類器層疊相連[3]。特征fj對(duì)應(yīng)的弱分類器表述為hj(x)。
  

  其中,θj是在訓(xùn)練樣本上最小錯(cuò)誤分類的閾值,pj是表示不等式的方向。由一系列弱分類器得到強(qiáng)分類器Hi(x)。
  
  其中x為待檢測(cè)窗口,hj(x)為構(gòu)成該強(qiáng)分類器的第j個(gè)弱分類器,θi為該強(qiáng)分類器的閾值。Hi(x)的判斷結(jié)果為1或0。1表示接受,0表示拒絕。當(dāng)一系列強(qiáng)分類器層層相連時(shí),就構(gòu)成一個(gè)層疊分類器[4]。訓(xùn)練的過(guò)程即為構(gòu)造級(jí)聯(lián)分類器。當(dāng)某一層訓(xùn)練的過(guò)程中,錯(cuò)誤報(bào)警率超標(biāo),則從樣本中繼續(xù)學(xué)習(xí),增加新的特征以滿足結(jié)果需要。
  檢測(cè)過(guò)程同訓(xùn)練過(guò)程類似,將輸入圖像以訓(xùn)練樣本的大小為基準(zhǔn),依次乘以相應(yīng)的步長(zhǎng),得到一系列子圖像。計(jì)算積分圖像以后,通過(guò)訓(xùn)練好的層疊分類器得到檢測(cè)結(jié)果。最后進(jìn)行區(qū)域合并得到人臉位置信息。
  (2)Adaboost中的改進(jìn)工作
  首先,在訓(xùn)練過(guò)程中引入45°旋轉(zhuǎn)矩形特征。由于要檢測(cè)的不僅是正面人臉圖像,因此訓(xùn)練樣本中加入了一些平面內(nèi)和平面外的旋轉(zhuǎn)樣本圖像。選取的特征也由viola的傳統(tǒng)四類矩形特征擴(kuò)展到加入45°旋轉(zhuǎn)特征。擴(kuò)展的矩形特征圖如圖3所示。


  其次,對(duì)圖像進(jìn)行降分辨率搜索。為了更清晰地表述圖像,視頻圖像通常采用的圖像分辨率比較大,如1024×768等,將分辨率降為512×384不會(huì)影響檢測(cè)的結(jié)果,但是搜索的時(shí)間明顯減少。為適應(yīng)系統(tǒng)實(shí)時(shí)性的需求,針對(duì)人臉圖像在視場(chǎng)中的比例,將檢測(cè)部分的搜索步長(zhǎng)改為1.2。opencv中的推薦步長(zhǎng)是1.1,本文針對(duì)人臉圖像在視場(chǎng)中的比例,在視頻圖像實(shí)驗(yàn)中發(fā)現(xiàn),如果將原有步長(zhǎng)1.1加大到1.2,不會(huì)影響檢測(cè)率,但減少了計(jì)算量。以320×320圖像為例比較,訓(xùn)練圖像的大小是24×24。當(dāng)檢測(cè)步長(zhǎng)從1.1增加到1.2時(shí),需要檢測(cè)的子圖像個(gè)數(shù)由3 302 348降至1 769 115。需要說(shuō)明的是,在viola的方法中,最后實(shí)驗(yàn)結(jié)果在384×288的圖像上進(jìn)行檢測(cè)耗時(shí)0.067s(實(shí)驗(yàn)機(jī)器配置為 PentiumⅢ,700MHz),檢測(cè)窗口縮放參數(shù)起始1.25,步長(zhǎng)1.5,但是由于視頻序列圖像中圖像質(zhì)量較差,若此參數(shù)偏高,檢測(cè)率不能滿足要求。本文中檢測(cè)窗口的縮放參數(shù)為起始1.0,步長(zhǎng)1.2。步長(zhǎng)的選取實(shí)際是對(duì)檢測(cè)率與錯(cuò)誤報(bào)警率之間的一個(gè)折中。本文的候選驗(yàn)證方法能有效地排除錯(cuò)誤報(bào)警,檢測(cè)的主要目的是減少漏檢人臉圖像,保證較高的檢測(cè)率。這也是步長(zhǎng)選取為1.2的原因。
3 人臉候選區(qū)域驗(yàn)證
  從前兩步得到了一系列的人臉候選區(qū)域,處理得到人臉感興趣區(qū)域。膚色分割的局限性在于受復(fù)雜背景的影響較大,但是人臉候選區(qū)域的圖像背景通常不復(fù)雜,將其運(yùn)用于人臉候選驗(yàn)證效果很好。凡是能通過(guò)膚色模型[5]被認(rèn)為是人臉的區(qū)域,稱為“類膚色區(qū)域”。在人臉候選區(qū)域驗(yàn)證中,人臉先進(jìn)入第一層分類——膚色模型,再進(jìn)入第二層分類——圖像的方差,拋掉“類膚色區(qū)域”中的非人臉。經(jīng)過(guò)兩層分類后,絕大部分錯(cuò)誤報(bào)警被排除。最終同時(shí)通過(guò)兩層的人臉候選區(qū)域被確定為人臉。后驗(yàn)證方法的流程如圖4所示。


3.1 基于膚色分割的候選區(qū)域驗(yàn)證
  統(tǒng)計(jì)一定數(shù)量的膚色區(qū)域,由于在RGB顏色空間分布沒(méi)有明顯的規(guī)律性,因而將其轉(zhuǎn)化到HSI空間發(fā)現(xiàn)了膚色的集中分布區(qū)域。實(shí)驗(yàn)中有一些背景像素值轉(zhuǎn)化到HSI空間時(shí),對(duì)應(yīng)的色調(diào)值S相差不大,僅僅依靠傳統(tǒng)用色調(diào)來(lái)區(qū)分膚色的非膚色區(qū)域的方法不再適用。在本系統(tǒng)的膚色分割中同時(shí)使用了H、I的值進(jìn)行限制,從大量的結(jié)果統(tǒng)計(jì)得到適用范圍。利用此特征對(duì)人臉候選區(qū)域進(jìn)行第一次分類,去除一部分錯(cuò)誤報(bào)警。候選區(qū)域驗(yàn)證結(jié)果如圖5所示。其中,圖5(1)中的a列為歸一化后的人臉候選區(qū)域,b為膚色變換以后的結(jié)果,得到第二層的圖像c。
3.2 基于圖像方差的候選區(qū)域驗(yàn)證
  該層剔除的目標(biāo)主要是“類膚色區(qū)域”中的非人臉。對(duì)于人臉膚色區(qū)域和非人臉膚色區(qū)域,方差分布有著明顯的差別。圖5(2)中得到的就是去除非人臉膚色區(qū)域之后的結(jié)果。


4 實(shí)驗(yàn)結(jié)果及分析
  分別進(jìn)行兩組不同類型的實(shí)驗(yàn),以證明該方法定位人臉的準(zhǔn)確性和實(shí)用性。


  實(shí)驗(yàn)1:如圖6所示。圖6(a)為多人臉圖像中的人臉定位,圖6(b)為當(dāng)人臉旋轉(zhuǎn)的角度小于30°時(shí),人臉在發(fā)生平面內(nèi)和平面外的旋轉(zhuǎn)時(shí)仍能準(zhǔn)確定位的圖片。在圖像大小為320×240時(shí),整個(gè)檢測(cè)和候選驗(yàn)證時(shí)間88ms(機(jī)器配置為PentiumⅣ,2.4GHz),基本上達(dá)到了實(shí)時(shí)的要求。
  實(shí)驗(yàn)2:研究視頻環(huán)境下的人臉檢測(cè)。由于光線的影響和視頻圖像具有運(yùn)動(dòng)模糊的特點(diǎn),因而錯(cuò)誤報(bào)警率比通用的測(cè)試集高。表1特別對(duì)候選驗(yàn)證前后的錯(cuò)誤報(bào)警進(jìn)行了比較。本文對(duì)檢測(cè)率(DR)和虛警率(FR)定義如下:
  
  其中N為測(cè)試集中人眼能夠確認(rèn)的人臉總數(shù),n為正確檢測(cè)到的人臉個(gè)數(shù),m為被檢測(cè)方法確定為人臉的非人臉模式,即錯(cuò)誤檢測(cè)樣本個(gè)數(shù)。本文的測(cè)試集是在視頻環(huán)境下實(shí)驗(yàn)室同學(xué)的樣本,每個(gè)樣本為單幅人臉圖像,樣本數(shù)目和人眼能夠確認(rèn)的人臉總數(shù)是一致的。檢測(cè)率和虛警率統(tǒng)計(jì)結(jié)果如表1所示。


  從實(shí)驗(yàn)結(jié)果分析,對(duì)應(yīng)檢測(cè)率較低的幾組樣本,漏檢的情況通常發(fā)生在人臉偏轉(zhuǎn)角度過(guò)大,導(dǎo)致人臉器官信息不明顯的情況下。而2,5,7組候選驗(yàn)證前的錯(cuò)誤檢測(cè)樣本個(gè)數(shù)較大,與光照環(huán)境密切相關(guān)。候選驗(yàn)證算法將其中的絕大部分去除。
  本文介紹了一種基于視頻序列圖像的人臉檢測(cè)方法?;谝曨l序列圖像的人臉檢測(cè)方法包括變化檢測(cè)、改進(jìn)的Adaboost學(xué)習(xí)算法和層疊式后驗(yàn)證等方法。實(shí)驗(yàn)結(jié)果表明,本文提出的方法在視頻環(huán)境下可以有效運(yùn)用于多人臉、不同尺寸、表情姿態(tài)和復(fù)雜背景的情況,同時(shí)使檢測(cè)率達(dá)到95.34%,錯(cuò)誤報(bào)警率降至0.0011,系統(tǒng)運(yùn)行時(shí)間為88ms, 可近乎實(shí)時(shí)地進(jìn)行人臉檢測(cè)。
  在實(shí)驗(yàn)過(guò)程中,不均勻光照對(duì)檢測(cè)有一定影響。從實(shí)驗(yàn)結(jié)果分析,人臉發(fā)生漏檢的情況通常出現(xiàn)在人臉進(jìn)行大角度旋轉(zhuǎn)的樣本中??梢?jiàn)Adaboost算法對(duì)于大角度的旋轉(zhuǎn)有一定的局限性,這也是以后需要改進(jìn)的地方。
參考文獻(xiàn)
1 梁路宏,艾海舟,徐光佑.人臉檢測(cè)研究綜述.計(jì)算機(jī)學(xué)報(bào),2002;25(5):449~458
2 Freund Y,Schapire R E.Experiments with a new boosting algorithm.In:Proc the 13th conf on machine learning,San Frarrcisco,Morgan Kaufmann,1996
3 Viola P,Jones M.Rapid object detection using a boosted cascade of simple features.IEEE conf on computer vision and pattern recognition,Kauai,Hawaii,USA,2001
4 Papageorgiou C P,Oren M,Poggio T.A general framework for object detection.In:Proceeding of imternational conference on computer vision,Bombay,India,1998
5 Bertran A,Yu H Z,Sacchetto P.Face Detection Project Report.Computer Project for Digital Image Processing,EE368 Spring 2001

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。