《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計應(yīng)用 > 基于膚色與人臉運動相結(jié)合的自動表情識別算法研究
基于膚色與人臉運動相結(jié)合的自動表情識別算法研究
2018年電子技術(shù)應(yīng)用第5期
宋婉娟,董文永
湖北第二師范學院 計算機學院,湖北 武漢430205
摘要: 基于膚色與人臉運動相結(jié)合的自動表情,對其識別算法進行研究。通過RGB將圖像轉(zhuǎn)為YIQ顏色空間,在YIQ中第I維中進行圖像數(shù)據(jù)的提取,在二值圖像中將背景和膚色分割出來。采用Pareto優(yōu)化算法進行人臉表情特征的選取,算法計算量少,構(gòu)結(jié)簡單,運行速度快,能對小角度人臉膚色、人臉面部表情變化、人臉旋轉(zhuǎn)、人臉面部存在遮擋物等情況準確檢測和跟蹤。實驗表明,對于人臉小角度轉(zhuǎn)動,該算法能較好適應(yīng);對于人眼的狀態(tài),該算法不受影響;對于豐富的面部表情變化和不同的膚色均能更好地適應(yīng),具有一定的穩(wěn)定性。
中圖分類號: TP391.4
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.173837
中文引用格式: 宋婉娟,董文永. 基于膚色與人臉運動相結(jié)合的自動表情識別算法研究[J].電子技術(shù)應(yīng)用,2018,44(5):140-143.
英文引用格式: Song Wanjuan,Dong Wenyong. Research on automatic facial expression recognition algorithm based on skin color and face movement[J]. Application of Electronic Technique,2018,44(5):140-143.
Research on automatic facial expression recognition algorithm based on skin color and face movement
Song Wanjuan,Dong Wenyong
School of Computing,Hubei University of Education,Wuhan 430205,China
Abstract: In this paper, the automatic facial expression based on the combination of skin color and face motion is studied. The image is transformed into YIQ color space by RGB, and the image data is extracted in the I dimension of YIQ, and the background and skin color are segmented in the two valued image. By using Pareto optimization algorithm to select facial expression feature, this algorithm has less calculation, simple structure, fast running speed, accurate detection and can track the obstructions of small angle face skin color, facial expression, face rotation and face. Experiments show that the algorithm can adapt to small angle rotation of human face. For human eyes, the algorithm is not affected, can better adapt to the rich facial expression changes and different skin colors, and has a certain stability.
Key words : Pareto optimization algorithm;facial motion;skin color;genetic algorithm

0 引言

    近年來,隨著計算機技術(shù)的日益提高,人臉實時識別系統(tǒng)發(fā)展很快,一般被廣泛運用在監(jiān)管、檢索等相關(guān)領(lǐng)域[1]。但在現(xiàn)階段,人臉識別技術(shù)依舊存在缺陷,在實際應(yīng)用方面受到一定的限制。在人臉識別系統(tǒng)中,人臉檢測屬于重要的組成部分,因此檢測部分具有非常關(guān)鍵的作用,人臉檢測系統(tǒng)的檢測算法非常多,可以歸納為兩大類:第一類檢測算法是基于像素特征,而像素特征包括輪廓、膚色等;第二類檢測算法是基于生物特征,生物特征包括圖像中像素間的微觀特征,包括像素的特征矩陣、均值等,相應(yīng)算法包括神經(jīng)網(wǎng)絡(luò)、Ada Boost等[2]。

    人臉膚色與運動識別指的是在圖像序列中,對某個人臉的膚色信息、大小變化、運動軌跡的過程進行確定[3]?;谶\動信息、膚色信息的方法具有較快的實現(xiàn)速度,但膚色信息要求的背景顏色分布較嚴格,誤識現(xiàn)象較多,識別率較低,人臉運動信息在跟蹤精度上還需要進一步提高[4]。因此將基于運動信息和基于膚色信息的檢測識別方法結(jié)合起來,提高人臉膚色與運動識別相結(jié)合的自動表情識別算法的準確性,可滿足實際應(yīng)用中的實時監(jiān)控要求[5]。本文主要基于膚色與人臉運動相結(jié)合的自動表情,對其識別算法進行了研究。

1 人臉膚色的提取

    膚色是構(gòu)成人臉信息的要素,實際上,不同人的膚色表面上看起來都有一定的差別,但如果排除亮度等影響因素以后,膚色顯示出極高的聚類性,其色調(diào)基本一致[6]。在RGB顏色空間當中,由于不存在特定亮度位數(shù)信息,因此膚色不具備良好的類聚性,在進行膚色區(qū)域分割時具有較大難度。在YIQ顏色空間里,膚色具有較高的類聚性,但也只在該顏色空間的第I維空間中進行類聚。這個現(xiàn)象說明,膚色分割的算法計算量非常少,并且非常簡單,能夠滿足實時監(jiān)測系統(tǒng)的速度要求。基于RGB顏色空間將圖像轉(zhuǎn)換到Y(jié)IQ顏色空間,轉(zhuǎn)換公式為:

    jsj4-gs1.gif

    膚色的提取過程分為3步:利用式(1)把圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)IQ顏色空間;在YIQ中的第I維空間中提取圖像數(shù)據(jù)信息;設(shè)定合適的閾值分割出二值圖像中的背景、膚色。

2 人臉表情特征選取

2.1 基于GA算法的人臉表情特征選取

    遺傳算法的主要思想是達爾文生物進化論,通過對自然中生物進化過程的模擬,進行最優(yōu)值的迭代搜索,目前常用的GA算法就是簡單遺傳算法,即SGA。遺傳算法是指通過迭代方法,對一個目標問題,搜索得到能夠解決該問題的最優(yōu)解。在對目標問題進行種群初始化過程中,可以基于該種群的基因編碼得到其個體??偟膩碚f,種群個體實際上屬于實體,而這部分實體都帶有染色體特征。染色體承載著遺傳物質(zhì),是由很多基因共同組成的,因此也是通過某種基因組合表現(xiàn)出來的,個體的外部表現(xiàn)則由該基因組合所決定。在染色體中,頭發(fā)顏色由某種基因組合決定。因而,對基因進行編碼,即基因型通過外部映射表現(xiàn)出來。

2.2 基于改進的Pareto優(yōu)化算法人臉表情特征選取

    通過改進的GA算法,經(jīng)過優(yōu)化得到解,采用Pareto優(yōu)化算法,對每個種群F(Sk)(k=1,2,…,n)的多目標進行優(yōu)化,得到最優(yōu)max F(Sk),并通過式(2)得到解Sk

jsj4-gs2-3.gif

式中,不同種類表情個數(shù)用l表示;Mi是通過GA從一類表情中得到的解,且Nw是解的個數(shù);Mj是通過GA從不同類別中得到的解,且Nb是其對應(yīng)解的個數(shù)。

    通過目標函數(shù)(3)可看出,F(xiàn)2(Sk)對應(yīng)擴大類間差距,F(xiàn)1(Sk)對應(yīng)縮小類間差距。圖1為基于GA和Pareto優(yōu)化算法的人臉的表情特征的選取。

jsj4-t1.gif

2.3 基于隨機森林方法的人臉表情特征分類

    在選出最優(yōu)特征后,將其進行表情分類,表情包括恐懼、生氣、驚訝、高興等。根據(jù)隨機森林分類器方法,可將人臉表情分類的精度有效提高。隨機森林屬于一種組合分類器,實質(zhì)上是一個樹形分類器的集合。其中,基分類器為通過分類回歸樹算法構(gòu)建的無剪枝分類的決策樹,通過多數(shù)投票的簡單法進行其輸出結(jié)果的確定。Gini系數(shù)指標在隨機森林算法中是分類回歸樹的分裂標準,其計算過程見式(4):

    jsj4-gs4.gif

式中,mtry表示每個節(jié)點的特征維數(shù);Pi表示在樣本集S中出現(xiàn)的概率。

3 人臉表情識別方法

3.1 三維人臉形變模型

jsj4-gs5.gif

    圖2為人臉顏色PCA模型,顏色系數(shù)的標準偏差設(shè)置為2。在第一個顏色模型中,模型主要是進行全局膚色模型的改變,從黑色到白色。在第二個模型中,模型主要是進行人臉性別特征的改變。第三個模型是進行性別、膚色兩種的混合特征的改變。

jsj4-t2.gif

3.2 基于雙眼的三維人臉姿態(tài)的預處理 

    人臉中的67個對齊點采用對齊算法SDM對齊。SDM中人臉的鼻子、眼睛、嘴角位置均可作為定位標記點。SDM對一個目標函數(shù)進行了定義,對此目標函數(shù)通過算法進行最小化,用一個線性方法對這個問題進行求解是SDM的核心,見式(6):

jsj4-gs6-7.gif

    通過獲取的角度,采用仿射變換對臉的姿態(tài)進行調(diào)整。仿射變換通過變換坐標進行,通過圖像變換,在圖片輸入后,將其坐標映射到輸出圖片坐標上。圖3為基于雙眼的人臉姿態(tài)預處理。

jsj4-t3.gif

4 支持向量機算法在目標跟蹤中的應(yīng)用 

4.1 SVM核函數(shù) 

    在展開函數(shù)計算之前,要進行事先確定變換環(huán)節(jié),當高維特征空間被輸入映射時,那么這個高維特征空間就需要構(gòu)造最優(yōu)分類面。現(xiàn)階段,在核函數(shù)和參數(shù)的選取環(huán)節(jié)當中,依舊采取人為選取的方式進行,隨意性較大,穩(wěn)定性難以滿足。核函數(shù)指的是:設(shè)歐氏空間X為d維,該空間的一個點用x表示,x的模表示為||x||2=xTx,實數(shù)集用R表示。若一個函數(shù)K:x→R,存在一個函數(shù)k:[0,∞]→R,即K(x)=k(||x||2),且k為非負值;當k為非增的、分段連續(xù)時,滿足條件jsj4-4.2-s1.gif則核函數(shù)就是K(x)。

4.2 訓練過程

    應(yīng)用支持向量機跟蹤驗證運動目標,通常包括圖像分類和訓練過程。在訓練時,將已知分類結(jié)果的樣本圖像輸入,進行圖像預處理,對于預處理后的圖像特征通過特征提取法進行提取,并將其作為SVM學習器的輸入數(shù)據(jù)。對核函數(shù)及參數(shù)值進行調(diào)整,優(yōu)化設(shè)置向量機中可能存在的維度和偏差等問題,優(yōu)化分類器的選擇模式,最終實現(xiàn)輸入訓練樣本的分類環(huán)節(jié),分類器的精度顯著提高。

4.3 動態(tài)人臉跟蹤的實現(xiàn)

    針對k幀進行研究時,所選擇的膚色模型主要為混合式,通過分割的方式將圖像的膚色進行輸入,以模型規(guī)定為基礎(chǔ),查看膚色閾值從而得到人臉候選區(qū)域;采取優(yōu)化過的Sobel算子邊緣檢測法檢測候選區(qū)域,并用SNOW分類器處理前面得到的結(jié)果,檢測人臉信息,最終得到人臉矩形區(qū)域;把第k-1幀的矩形區(qū)域與人臉矩形區(qū)域進行比較,對于當前幀人臉矩形區(qū)域的運動狀態(tài),采用線性預測獲得;應(yīng)用FWT算法和Haar小波變換進行該矩形區(qū)域圖像的增強處理,同時采用SVM分類器驗證人臉信息。如果能夠檢測到相應(yīng)人臉信息,那么就可以將其作為人臉區(qū)域進行標注;如果檢測不到相應(yīng)的人臉信息,那就可以認為目標丟失,在允許的丟失時間范圍內(nèi),跟蹤和檢測k+1幀。如果超過允許的丟失時間范圍,即可結(jié)束本次跟蹤,同時開始新一輪的人臉識別、跟蹤、檢測。

5 實驗結(jié)果分析 

    以前文給出的算法流程為基礎(chǔ),實現(xiàn)對人臉識別跟蹤的準確定位和檢測,實現(xiàn)人臉膚色和人臉運動相結(jié)合的自動表情定位。以QC288型攝像頭為圖像識別工具進行采集,圖像均為640×480分辨率的真彩圖像,圖4為部分人臉跟蹤結(jié)果圖,其中圓形所標注的內(nèi)容為圖像中的人臉目標。通過本文的人臉膚色與人臉運行相結(jié)合的自動表情的檢測和跟蹤算法,對小角度人臉膚色、人臉面部表情變化、人臉旋轉(zhuǎn)、人臉面部存在遮擋物等情況準確地進行檢測和跟蹤。

jsj4-t4.gif

6 結(jié)論

    本文主要基于膚色與人臉運動相結(jié)合的自動表情,對其識別算法進行了研究。通過RGB將圖像轉(zhuǎn)為YIQ顏色空間,在YIQ中第I維中進行圖像數(shù)據(jù)的提取,在二值圖像中將背景和膚色分割出來。采用Pareto優(yōu)化算法進行人臉表情特征的選取,本算法計算量少,構(gòu)結(jié)簡單,運行速度快,能對小角度人臉膚色、人臉面部表情變化、人臉旋轉(zhuǎn)、人臉面部存在遮擋物等情況準確檢測和跟蹤。實驗表明,對于人臉小角度轉(zhuǎn)動,本文算法能較好適應(yīng):對于人眼的狀態(tài),本算法不受影響;對于豐富的面部表情變化和不同的膚色均能更好地適應(yīng),具有一定的穩(wěn)定性。

參考文獻

[1] 顧偉,劉文杰,朱忠浩,等.一種基于膚色模型和模板匹配的人臉檢測算法[J].微型電腦,2014,30(7):13-16.

[2] 曹海燕.基于幾何特征的人臉識別算法研究[D].曲阜:曲阜師范大學,2015.

[3] 梅英,譚冠政,劉振燾.基于視頻圖像的面部表情識別研究綜述[J].湖南文理學院學報(自科版),2016,28(3):19-25.

[4] 牛連強,趙子天,張勝男.基于Gabor特征融合與LBP直方圖的人臉表情特征提取方法[J].沈陽工業(yè)大學學報,2016,38(1):63-68.

[5] 李宇成,劉昆.一種基于人臉分割的PCA和SVM人臉識別方法[J].微型機與應(yīng)用,2016,35(15):51-53.

[6] 孫波,劉永娜,羅繼鴻,等.基于張量分析的表情特征提取[J].計算機工程與應(yīng)用,2016,52(20):145-148.



作者信息:

宋婉娟,董文永

(湖北第二師范學院 計算機學院,湖北 武漢430205)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。