文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.173837
中文引用格式: 宋婉娟,董文永. 基于膚色與人臉運動相結(jié)合的自動表情識別算法研究[J].電子技術(shù)應(yīng)用,2018,44(5):140-143.
英文引用格式: Song Wanjuan,Dong Wenyong. Research on automatic facial expression recognition algorithm based on skin color and face movement[J]. Application of Electronic Technique,2018,44(5):140-143.
0 引言
近年來,隨著計算機技術(shù)的日益提高,人臉實時識別系統(tǒng)發(fā)展很快,一般被廣泛運用在監(jiān)管、檢索等相關(guān)領(lǐng)域[1]。但在現(xiàn)階段,人臉識別技術(shù)依舊存在缺陷,在實際應(yīng)用方面受到一定的限制。在人臉識別系統(tǒng)中,人臉檢測屬于重要的組成部分,因此檢測部分具有非常關(guān)鍵的作用,人臉檢測系統(tǒng)的檢測算法非常多,可以歸納為兩大類:第一類檢測算法是基于像素特征,而像素特征包括輪廓、膚色等;第二類檢測算法是基于生物特征,生物特征包括圖像中像素間的微觀特征,包括像素的特征矩陣、均值等,相應(yīng)算法包括神經(jīng)網(wǎng)絡(luò)、Ada Boost等[2]。
人臉膚色與運動識別指的是在圖像序列中,對某個人臉的膚色信息、大小變化、運動軌跡的過程進行確定[3]?;谶\動信息、膚色信息的方法具有較快的實現(xiàn)速度,但膚色信息要求的背景顏色分布較嚴格,誤識現(xiàn)象較多,識別率較低,人臉運動信息在跟蹤精度上還需要進一步提高[4]。因此將基于運動信息和基于膚色信息的檢測識別方法結(jié)合起來,提高人臉膚色與運動識別相結(jié)合的自動表情識別算法的準確性,可滿足實際應(yīng)用中的實時監(jiān)控要求[5]。本文主要基于膚色與人臉運動相結(jié)合的自動表情,對其識別算法進行了研究。
1 人臉膚色的提取
膚色是構(gòu)成人臉信息的要素,實際上,不同人的膚色表面上看起來都有一定的差別,但如果排除亮度等影響因素以后,膚色顯示出極高的聚類性,其色調(diào)基本一致[6]。在RGB顏色空間當中,由于不存在特定亮度位數(shù)信息,因此膚色不具備良好的類聚性,在進行膚色區(qū)域分割時具有較大難度。在YIQ顏色空間里,膚色具有較高的類聚性,但也只在該顏色空間的第I維空間中進行類聚。這個現(xiàn)象說明,膚色分割的算法計算量非常少,并且非常簡單,能夠滿足實時監(jiān)測系統(tǒng)的速度要求。基于RGB顏色空間將圖像轉(zhuǎn)換到Y(jié)IQ顏色空間,轉(zhuǎn)換公式為:
膚色的提取過程分為3步:利用式(1)把圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)IQ顏色空間;在YIQ中的第I維空間中提取圖像數(shù)據(jù)信息;設(shè)定合適的閾值分割出二值圖像中的背景、膚色。
2 人臉表情特征選取
2.1 基于GA算法的人臉表情特征選取
遺傳算法的主要思想是達爾文生物進化論,通過對自然中生物進化過程的模擬,進行最優(yōu)值的迭代搜索,目前常用的GA算法就是簡單遺傳算法,即SGA。遺傳算法是指通過迭代方法,對一個目標問題,搜索得到能夠解決該問題的最優(yōu)解。在對目標問題進行種群初始化過程中,可以基于該種群的基因編碼得到其個體??偟膩碚f,種群個體實際上屬于實體,而這部分實體都帶有染色體特征。染色體承載著遺傳物質(zhì),是由很多基因共同組成的,因此也是通過某種基因組合表現(xiàn)出來的,個體的外部表現(xiàn)則由該基因組合所決定。在染色體中,頭發(fā)顏色由某種基因組合決定。因而,對基因進行編碼,即基因型通過外部映射表現(xiàn)出來。
2.2 基于改進的Pareto優(yōu)化算法人臉表情特征選取
通過改進的GA算法,經(jīng)過優(yōu)化得到解,采用Pareto優(yōu)化算法,對每個種群F(Sk)(k=1,2,…,n)的多目標進行優(yōu)化,得到最優(yōu)max F(Sk),并通過式(2)得到解Sk:
式中,不同種類表情個數(shù)用l表示;Mi是通過GA從一類表情中得到的解,且Nw是解的個數(shù);Mj是通過GA從不同類別中得到的解,且Nb是其對應(yīng)解的個數(shù)。
通過目標函數(shù)(3)可看出,F(xiàn)2(Sk)對應(yīng)擴大類間差距,F(xiàn)1(Sk)對應(yīng)縮小類間差距。圖1為基于GA和Pareto優(yōu)化算法的人臉的表情特征的選取。
2.3 基于隨機森林方法的人臉表情特征分類
在選出最優(yōu)特征后,將其進行表情分類,表情包括恐懼、生氣、驚訝、高興等。根據(jù)隨機森林分類器方法,可將人臉表情分類的精度有效提高。隨機森林屬于一種組合分類器,實質(zhì)上是一個樹形分類器的集合。其中,基分類器為通過分類回歸樹算法構(gòu)建的無剪枝分類的決策樹,通過多數(shù)投票的簡單法進行其輸出結(jié)果的確定。Gini系數(shù)指標在隨機森林算法中是分類回歸樹的分裂標準,其計算過程見式(4):
式中,mtry表示每個節(jié)點的特征維數(shù);Pi表示在樣本集S中出現(xiàn)的概率。
3 人臉表情識別方法
3.1 三維人臉形變模型
圖2為人臉顏色PCA模型,顏色系數(shù)的標準偏差設(shè)置為2。在第一個顏色模型中,模型主要是進行全局膚色模型的改變,從黑色到白色。在第二個模型中,模型主要是進行人臉性別特征的改變。第三個模型是進行性別、膚色兩種的混合特征的改變。
3.2 基于雙眼的三維人臉姿態(tài)的預處理
人臉中的67個對齊點采用對齊算法SDM對齊。SDM中人臉的鼻子、眼睛、嘴角位置均可作為定位標記點。SDM對一個目標函數(shù)進行了定義,對此目標函數(shù)通過算法進行最小化,用一個線性方法對這個問題進行求解是SDM的核心,見式(6):
通過獲取的角度,采用仿射變換對臉的姿態(tài)進行調(diào)整。仿射變換通過變換坐標進行,通過圖像變換,在圖片輸入后,將其坐標映射到輸出圖片坐標上。圖3為基于雙眼的人臉姿態(tài)預處理。
4 支持向量機算法在目標跟蹤中的應(yīng)用
4.1 SVM核函數(shù)
在展開函數(shù)計算之前,要進行事先確定變換環(huán)節(jié),當高維特征空間被輸入映射時,那么這個高維特征空間就需要構(gòu)造最優(yōu)分類面。現(xiàn)階段,在核函數(shù)和參數(shù)的選取環(huán)節(jié)當中,依舊采取人為選取的方式進行,隨意性較大,穩(wěn)定性難以滿足。核函數(shù)指的是:設(shè)歐氏空間X為d維,該空間的一個點用x表示,x的模表示為||x||2=xTx,實數(shù)集用R表示。若一個函數(shù)K:x→R,存在一個函數(shù)k:[0,∞]→R,即K(x)=k(||x||2),且k為非負值;當k為非增的、分段連續(xù)時,滿足條件則核函數(shù)就是K(x)。
4.2 訓練過程
應(yīng)用支持向量機跟蹤驗證運動目標,通常包括圖像分類和訓練過程。在訓練時,將已知分類結(jié)果的樣本圖像輸入,進行圖像預處理,對于預處理后的圖像特征通過特征提取法進行提取,并將其作為SVM學習器的輸入數(shù)據(jù)。對核函數(shù)及參數(shù)值進行調(diào)整,優(yōu)化設(shè)置向量機中可能存在的維度和偏差等問題,優(yōu)化分類器的選擇模式,最終實現(xiàn)輸入訓練樣本的分類環(huán)節(jié),分類器的精度顯著提高。
4.3 動態(tài)人臉跟蹤的實現(xiàn)
針對k幀進行研究時,所選擇的膚色模型主要為混合式,通過分割的方式將圖像的膚色進行輸入,以模型規(guī)定為基礎(chǔ),查看膚色閾值從而得到人臉候選區(qū)域;采取優(yōu)化過的Sobel算子邊緣檢測法檢測候選區(qū)域,并用SNOW分類器處理前面得到的結(jié)果,檢測人臉信息,最終得到人臉矩形區(qū)域;把第k-1幀的矩形區(qū)域與人臉矩形區(qū)域進行比較,對于當前幀人臉矩形區(qū)域的運動狀態(tài),采用線性預測獲得;應(yīng)用FWT算法和Haar小波變換進行該矩形區(qū)域圖像的增強處理,同時采用SVM分類器驗證人臉信息。如果能夠檢測到相應(yīng)人臉信息,那么就可以將其作為人臉區(qū)域進行標注;如果檢測不到相應(yīng)的人臉信息,那就可以認為目標丟失,在允許的丟失時間范圍內(nèi),跟蹤和檢測k+1幀。如果超過允許的丟失時間范圍,即可結(jié)束本次跟蹤,同時開始新一輪的人臉識別、跟蹤、檢測。
5 實驗結(jié)果分析
以前文給出的算法流程為基礎(chǔ),實現(xiàn)對人臉識別跟蹤的準確定位和檢測,實現(xiàn)人臉膚色和人臉運動相結(jié)合的自動表情定位。以QC288型攝像頭為圖像識別工具進行采集,圖像均為640×480分辨率的真彩圖像,圖4為部分人臉跟蹤結(jié)果圖,其中圓形所標注的內(nèi)容為圖像中的人臉目標。通過本文的人臉膚色與人臉運行相結(jié)合的自動表情的檢測和跟蹤算法,對小角度人臉膚色、人臉面部表情變化、人臉旋轉(zhuǎn)、人臉面部存在遮擋物等情況準確地進行檢測和跟蹤。
6 結(jié)論
本文主要基于膚色與人臉運動相結(jié)合的自動表情,對其識別算法進行了研究。通過RGB將圖像轉(zhuǎn)為YIQ顏色空間,在YIQ中第I維中進行圖像數(shù)據(jù)的提取,在二值圖像中將背景和膚色分割出來。采用Pareto優(yōu)化算法進行人臉表情特征的選取,本算法計算量少,構(gòu)結(jié)簡單,運行速度快,能對小角度人臉膚色、人臉面部表情變化、人臉旋轉(zhuǎn)、人臉面部存在遮擋物等情況準確檢測和跟蹤。實驗表明,對于人臉小角度轉(zhuǎn)動,本文算法能較好適應(yīng):對于人眼的狀態(tài),本算法不受影響;對于豐富的面部表情變化和不同的膚色均能更好地適應(yīng),具有一定的穩(wěn)定性。
參考文獻
[1] 顧偉,劉文杰,朱忠浩,等.一種基于膚色模型和模板匹配的人臉檢測算法[J].微型電腦,2014,30(7):13-16.
[2] 曹海燕.基于幾何特征的人臉識別算法研究[D].曲阜:曲阜師范大學,2015.
[3] 梅英,譚冠政,劉振燾.基于視頻圖像的面部表情識別研究綜述[J].湖南文理學院學報(自科版),2016,28(3):19-25.
[4] 牛連強,趙子天,張勝男.基于Gabor特征融合與LBP直方圖的人臉表情特征提取方法[J].沈陽工業(yè)大學學報,2016,38(1):63-68.
[5] 李宇成,劉昆.一種基于人臉分割的PCA和SVM人臉識別方法[J].微型機與應(yīng)用,2016,35(15):51-53.
[6] 孫波,劉永娜,羅繼鴻,等.基于張量分析的表情特征提取[J].計算機工程與應(yīng)用,2016,52(20):145-148.
作者信息:
宋婉娟,董文永
(湖北第二師范學院 計算機學院,湖北 武漢430205)