文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.171839
中文引用格式: 金純,陳光勇. 基于優(yōu)化的LSTSVM的多模態(tài)生理信號(hào)情感識(shí)別[J].電子技術(shù)應(yīng)用,2018,44(3):112-116.
英文引用格式: Jin Chun,Chen Guangyong. Emotion recognition of multimodal physiological signals based on optimized LSTSVM[J]. Application of Electronic Technique,2018,44(3):112-116.
0 引言
人們對(duì)計(jì)算機(jī)的依賴性越來(lái)越強(qiáng),智能人機(jī)交互已經(jīng)引起人們廣泛的關(guān)注,情感識(shí)別能力成為度量人機(jī)交互智能化程度的重要依據(jù)[1]。相比于語(yǔ)音、動(dòng)作和表情信號(hào),生理信號(hào)難以隱藏,能更加真實(shí)地反應(yīng)人的情感狀態(tài)。研究表明,使用多模態(tài)的生理信號(hào)比使用單一模態(tài)的生理信號(hào)更能準(zhǔn)確地識(shí)別出人的情感類型[2],因而基于多模態(tài)生理信號(hào)的情感識(shí)別受到越來(lái)越多研究人員的關(guān)注。
許多學(xué)者的研究表明,生理信號(hào)中包含很多有價(jià)值的情感信息。目前基于生理信號(hào)的情感識(shí)別主要是提取信號(hào)的時(shí)域、頻域特征,然后進(jìn)行目標(biāo)情感狀態(tài)的分類。文獻(xiàn)[3]使用支持向量機(jī)來(lái)對(duì)情感進(jìn)行分類。文獻(xiàn)[4]使用改進(jìn)的支持向量機(jī)進(jìn)行情感分類。但傳統(tǒng)支持向量機(jī)計(jì)算復(fù)雜度較高,當(dāng)需要處理的數(shù)據(jù)規(guī)模逐漸變大時(shí),其分類精度下降較快,訓(xùn)練需要的時(shí)間也變得更長(zhǎng),參數(shù)選擇也對(duì)其分類效果有較大影響。本文提出改進(jìn)螢火蟲(chóng)算法優(yōu)化的最小二乘雙支持向量機(jī)并將其用于多模態(tài)情感識(shí)別中,實(shí)驗(yàn)結(jié)果表明,提出的算法識(shí)別精確性和訓(xùn)練開(kāi)銷均有一定的提高。
1 最小二乘雙支持向量機(jī)模型
雙胞胎支持向量機(jī)(Twin Support Vector Machine,TSVM)是一種用于二分類問(wèn)題的分類器。TSVM從傳統(tǒng)的支持向量機(jī)優(yōu)化而來(lái),具有傳統(tǒng)支持向量機(jī)的一些優(yōu)點(diǎn),同時(shí)對(duì)大規(guī)模數(shù)據(jù)有較好的處理能力。TSVM分類器的關(guān)鍵是為兩種不同類別的數(shù)據(jù)分別確定一個(gè)分類平面,實(shí)際分類過(guò)程中,樣本數(shù)據(jù)距離哪個(gè)分類平面更近就被判別為對(duì)應(yīng)類別的數(shù)據(jù)。
最小二乘雙支持向量機(jī)(Least squares Twin Support Vector Machine,LSTSVM)是基于雙胞胎支持向量機(jī)(TSVM)提出的,將TSVM的兩個(gè)小規(guī)模的二次規(guī)劃問(wèn)題轉(zhuǎn)化為求解一組相對(duì)簡(jiǎn)單線性方程組的問(wèn)題,其運(yùn)算過(guò)程被極大地簡(jiǎn)化了,因此 LSTSVM分類器比傳統(tǒng)向量機(jī)的運(yùn)算速度更快。非線性的最小二乘雙支持向量機(jī)通過(guò)核函數(shù)的映射作用,可以將線性分類的情況擴(kuò)展到非線性分類的情況,從而非線性樣本的分類問(wèn)題得以有效解決。
2 改進(jìn)型螢火蟲(chóng)算法
2.1 標(biāo)準(zhǔn)螢火蟲(chóng)算法
標(biāo)準(zhǔn)的螢火蟲(chóng)算法(Firefly Algorithm,F(xiàn)A)是由YANG X S提出的一種新型的群體智能優(yōu)化算法[5],在許多領(lǐng)域都得到了應(yīng)用。
算法將每個(gè)螢火蟲(chóng)的位置近似為待求問(wèn)題的一個(gè)解,將螢火蟲(chóng)間相互吸引和位置更新的過(guò)程近似為對(duì)最優(yōu)解進(jìn)行搜索和迭代。該算法涉及兩個(gè)關(guān)鍵點(diǎn),即熒光亮度和吸引度。吸引度與亮度相關(guān),亮度較高的螢火蟲(chóng)將吸引一定范圍中亮度低的螢火蟲(chóng)。算法迭代多次后,最亮的螢火蟲(chóng)的位置就是問(wèn)題的最優(yōu)解。
算法實(shí)現(xiàn)過(guò)程中,從數(shù)學(xué)角度定義以下幾個(gè)概念:
定義1:螢火蟲(chóng)的熒光亮度為:
其中,xi(t+1)為螢火蟲(chóng)xi第t+1次移動(dòng)后的位置;α為步長(zhǎng)因子,一般為[0,1]中的常數(shù);rand為[0,1]上服從均勻分布的隨機(jī)因子。
2.2 改進(jìn)的螢火蟲(chóng)算法
2.2.1 基于Logistic映射的種群初始化
FA使用隨機(jī)化的方法產(chǎn)生初始化種群,這種方式產(chǎn)生的種群其多樣性較低,而種群多樣性對(duì)算法的性能有重要的影響,低種群多樣性會(huì)帶來(lái)收斂速度變慢、優(yōu)化精度降低等問(wèn)題。
為了提高初始種群的多樣性,將混沌動(dòng)力學(xué)引入螢火蟲(chóng)算法。混沌運(yùn)動(dòng)表面來(lái)看是無(wú)序的、隨機(jī)的,具有不確定性,但實(shí)際上混沌運(yùn)動(dòng)與一般意義上的隨機(jī)運(yùn)動(dòng)不同,混沌運(yùn)動(dòng)實(shí)質(zhì)上具有遍歷性、規(guī)律性等特點(diǎn),在一定范圍內(nèi)有其特定的規(guī)律。
當(dāng)精確度趨近于無(wú)限大時(shí),混沌序列可以被看作為一種理想的隨機(jī)序列,本文采用Logistic映射所生成混沌序列實(shí)現(xiàn)來(lái)初始化種群。相比于隨機(jī)化產(chǎn)生初始種群的方式,Logistic映射不僅能夠產(chǎn)生多樣性的初始種群,也能在一定程度上避免早熟收斂。Logistic映射表達(dá)式為:
2.2.2 新的吸引度計(jì)算方式
螢火蟲(chóng)之間的吸引力的大小應(yīng)該與兩個(gè)螢火蟲(chóng)的距離和螢火蟲(chóng)各自的熒光亮度有關(guān),當(dāng)距離一定時(shí),熒光亮度越大,吸引力就越大;當(dāng)熒光亮度一定時(shí),距離越遠(yuǎn),吸引度越小。而式(10)中螢火蟲(chóng)間吸引度的大小與距離和最大吸引力有關(guān),并且通常最大吸引力取值為常數(shù),這與實(shí)際情況是不相符的,所以將兩個(gè)螢火蟲(chóng)間的吸引力公式更新為:
2.2.3 基于隨機(jī)慣性權(quán)重的位置調(diào)節(jié)
慣性權(quán)重表明了螢火蟲(chóng)以前的位置對(duì)當(dāng)前位置的影響,合理調(diào)節(jié)慣性權(quán)重就能較好地平衡算法的全局探索能力和局部搜索能力。在算法迭代初期,較高的慣性權(quán)重可以使螢火蟲(chóng)以較快的速度趨近最優(yōu)解,算法全局的探索能力較強(qiáng)。算法迭代后期,螢火蟲(chóng)已移動(dòng)至最優(yōu)解附近,此時(shí)較低的慣性權(quán)重可以避免螢火蟲(chóng)因移動(dòng)的距離過(guò)大而越過(guò)最優(yōu)解導(dǎo)致在最優(yōu)解附近出現(xiàn)震蕩的問(wèn)題。
文獻(xiàn)[6]給出了線性遞減的慣性權(quán)重,算法的收斂速度比標(biāo)準(zhǔn)FA快,但算法也存在過(guò)早收斂的問(wèn)題。為克服線性遞減的慣性權(quán)重的不足,給出隨機(jī)慣性權(quán)重的權(quán)重計(jì)算方法:
在每次迭代中,為了避免部分螢火蟲(chóng)偶然不規(guī)則的移動(dòng)而造成權(quán)重的大幅度改變,實(shí)際權(quán)重取N只螢火蟲(chóng)慣性權(quán)重的平均值。
2.2.4 基于萊維飛行的隨機(jī)移動(dòng)
萊維分布是法國(guó)數(shù)學(xué)家萊維(Lévy)提出的一種概率分布,自然界中動(dòng)物的許多行為都符合萊維分布的情形。Lévy飛行是一種短距離和長(zhǎng)距離行走相間的行走方式[7],行走步長(zhǎng)服從萊維分布。
Lévy飛行能擴(kuò)大搜索的范圍、增加種群多樣性并使算法更容易跳出局部最優(yōu)點(diǎn)。在螢火蟲(chóng)算法的隨機(jī)移動(dòng)項(xiàng)中引入Lévy飛行能極大地增強(qiáng)算法的搜索性能,當(dāng)螢火蟲(chóng)位于最優(yōu)解附近時(shí),Lévy飛行使算法可以較快地搜索到最優(yōu)解。
Lévy飛行的隨機(jī)步長(zhǎng)符合萊維分布,參數(shù)為λ的萊維分布為:
3 改進(jìn)型螢火蟲(chóng)算法優(yōu)化的最小二乘雙支持向量機(jī)
本文的核函數(shù)采用徑向基核函數(shù),徑向基核函數(shù)的參數(shù)取值范圍較大,不同的取值對(duì)分類器的分類性能也會(huì)產(chǎn)生不同影響。使用徑向基核函數(shù)的LSTSVM,需要確定的參數(shù)有LSTSVM的懲罰系數(shù)c1、c2和核函數(shù)的參數(shù)σ。
懲罰系數(shù)c1、c2可看作是對(duì)偏離正確類別的樣本數(shù)據(jù)的懲罰程度,選取合適的懲罰系數(shù)c1、c2可以較好地平衡分類模型的訓(xùn)練誤差以及模型的復(fù)雜性兩者的差別,從而使分類模型具備較強(qiáng)的推廣能力。
核函數(shù)參數(shù)σ的選取對(duì)模型的性能也有著重要影響。如果選取的參數(shù)σ過(guò)小,模型的泛化能力難以保證;如果選取的參數(shù)σ過(guò)大,模型的分類精度又難以提高。因此在進(jìn)行參數(shù)的選擇時(shí),需要對(duì)多個(gè)參數(shù)間的相互影響進(jìn)行綜合考慮。本文提出MFA-LSTSVM算法,基于改進(jìn)型螢火蟲(chóng)算法優(yōu)選最小二乘雙支持向量機(jī)的各項(xiàng)參數(shù),使算法達(dá)到泛化能力增強(qiáng)的同時(shí)具備較高的識(shí)別精度,算法步驟如下:
(1)系統(tǒng)初始化,由式(10)生成螢火蟲(chóng)初始種群的規(guī)模、位置信息,并設(shè)置光強(qiáng)吸收系數(shù)、最大吸引度和步長(zhǎng)因子等參數(shù);
(2)將懲罰系數(shù)c1、c2和核函數(shù)的參數(shù)σ賦值給LSSTSVM,計(jì)算適應(yīng)度函數(shù),適應(yīng)度函數(shù)為f=RMSEtraindata;
(3)根據(jù)式(6)計(jì)算群體中每個(gè)螢火蟲(chóng)的熒光亮度;
(4)對(duì)各個(gè)螢火蟲(chóng)的亮度排序,得到亮度最高的螢火蟲(chóng)所對(duì)應(yīng)的位置;
(5)根據(jù)式(11)、式(14)、式(16)分別計(jì)算螢火蟲(chóng)吸引力、權(quán)重和步長(zhǎng)值;
(6)根據(jù)式(20)更新螢火蟲(chóng)的位置;
(7)判斷是否達(dá)到結(jié)束條件,結(jié)束條件為適應(yīng)度函數(shù)的值需要達(dá)到指定的搜索精度,若不滿足結(jié)束條件返回步驟(2),若滿足條件則執(zhí)行下一步;
(8)獲得最優(yōu)參數(shù),并賦值給LSTSVM;
(9)由訓(xùn)練數(shù)據(jù)得到最優(yōu)LSTSVM分類模型,并使用最優(yōu)LSTSVM分類模型對(duì)測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。
算法流程圖如圖1所示。
4 MFA-LSTSVM在情感識(shí)別中的應(yīng)用
本文使用KOELSTRA S和SOLEYMANI M等人公布的“DEAP”生理情感數(shù)據(jù)庫(kù)[8]中的數(shù)據(jù)來(lái)測(cè)試情感識(shí)別算法的效果。研究人員招募了32名志愿者(19~37周歲,平均年齡26.9,男、女各50%),志愿者在刺激材料的刺激下分別產(chǎn)生不同的情感,同時(shí)他們的多種生理信號(hào)被記錄,信號(hào)共48導(dǎo)聯(lián)。每名志愿者在觀看相應(yīng)材料后分別在效價(jià)、喚醒度、優(yōu)勢(shì)度、喜歡度和熟悉度5個(gè)維度上的進(jìn)行評(píng)分,自評(píng)分是范圍為1~9的整數(shù)。這些記錄形成了生理情感數(shù)據(jù)庫(kù)“DEAP”。本文將基于“DEAP”數(shù)據(jù)庫(kù)中的生理數(shù)據(jù)進(jìn)行情感狀態(tài)的識(shí)別,使用的生理信號(hào)為腦電、皮膚電、肌電、呼吸4種模態(tài)的信號(hào)。
著名心理學(xué)家Ekman提出了離散的情感模型,將人的基本情感分為6種,即憤怒、厭惡、恐懼、高興、悲傷和驚訝。繼而其他學(xué)者提出了連續(xù)情感模型,其中最常用的是RUSSELL J A提出的效價(jià)-喚醒度(valence-arousal)情感模型[9],該模型使用喚醒度(情感是主動(dòng)的還是被動(dòng)的)和效價(jià)(情感是正面的還是負(fù)面的)兩個(gè)維度來(lái)衡量情感狀態(tài),有很強(qiáng)的描述情感的能力。本文使用效價(jià)-喚醒度情感模型對(duì)情感狀態(tài)進(jìn)行分析,在效價(jià)和喚醒度兩個(gè)維度上分別將情感分為兩個(gè)類別。本文中自評(píng)分與情感類別的關(guān)系如表1所示。
本文中各個(gè)模態(tài)生理信號(hào)的最佳特征子集如表2所示。
為衡量分類器的分類效果,本文采用精確率、召回率、F1-measure 3個(gè)指標(biāo)來(lái)分析,數(shù)值越大表示分類器效果越好,它們的計(jì)算方式如式(21)~式(23)所示。同時(shí)與文獻(xiàn)[10]提出的LSTSVM和文獻(xiàn)[11]提出的算法(Particle Swarm Optimization Algorithm Least squares Twin Support Vector Machine,PSO-LSTSVM)做了對(duì)比,各分類器分類結(jié)果如表3所示。
其中,TP表示正確類別被判為正確類別的數(shù)目,F(xiàn)P表示錯(cuò)誤類別被判為錯(cuò)誤類別的數(shù)目,F(xiàn)N表示正確的類別被判為錯(cuò)誤類別的數(shù)目。
分類結(jié)果表明,在精確率、召回率和F1-measure值方面,MFA-LSTSVM的效果要好于LSTSVM和PSO-LSTSVM,提出的MFA-LSTSVM的分類效果更佳。
為了更加明確地衡量不同分類器的性能,做出了不同情感狀態(tài)不同算法的ROC平面,如圖2,ROC平面由正確識(shí)別率(True Positive Rate,TPR)和錯(cuò)誤識(shí)別率(False Positive Rate,F(xiàn)PR)構(gòu)成。對(duì)角線TPR=FPR將二維平面分成了兩部分,在TPR>FPR區(qū)域內(nèi),距離對(duì)角線較遠(yuǎn)表示識(shí)別效果較好;在TPR<FPR區(qū)域內(nèi),距離對(duì)角線較遠(yuǎn)表示識(shí)別效果較差。
可以看出對(duì)不同的情感狀態(tài),MFA-LSTSVM的分類效果均比其他兩種算法更優(yōu)。對(duì)于各種情感狀態(tài),PSO-LSTSVM的效果比默認(rèn)參數(shù)的LSTSVM好,對(duì)于低喚醒度低效價(jià)情感和高喚醒度低效價(jià)情感,MFA-LSTSVM的效果明顯好于其他兩者。
為進(jìn)一步分析分類器的性能,記錄了分別用訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)對(duì)3種分類器進(jìn)行訓(xùn)練和測(cè)試所需要的時(shí)間,如表4所示。
實(shí)驗(yàn)結(jié)果表明,無(wú)論在訓(xùn)練還是測(cè)試所需要的時(shí)間,MFA-LSTSVM的消耗均少于LSTSVM 和PSO-LSTSVM,這說(shuō)明提出的MFA-LSTSVM算法能夠降低訓(xùn)練和測(cè)試的難度、提高效率。
5 結(jié)束語(yǔ)
本文基于新穎的群體智能算法和分類性能突出的最小二乘雙支持向量機(jī),提出了一種改進(jìn)型螢火蟲(chóng)算法優(yōu)化的最小二乘雙支持向量機(jī)情感識(shí)別算法,并使用公開(kāi)的情感數(shù)據(jù)庫(kù)“DEAP”對(duì)算法進(jìn)行了測(cè)試。通過(guò)與現(xiàn)有的兩種算法做了對(duì)比分析,從多個(gè)維度的實(shí)驗(yàn)結(jié)果表明,本文提出的算法具有較好的識(shí)別效果,是一種性能較高的情感識(shí)別算法。
參考文獻(xiàn)
[1] ALZOUBI O,SIDNEY K D,CALVO R A.Detecting naturalistic expressions of nonbasic affect using physiological signals[J].Affective Computing IEEE Transactions on,2012,3(3):298-310.
[2] PICARD R W,VYZAS E,HEALEY J.Toward machine emotional intelligence:Analysis of affective physiological state(HTML)[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2001,23(10):1175-1191.
[3] PAN Y,SHEN P,SHEN L.Speech emotion recognition using support vector machine[J].International Journal of Smart Home,2012,1(20):6-9.
[4] YU B,LI H F,F(xiàn)ANG C Y.Speech emotion recognition based on optimized support vector machine[J].Journal of Software,2012,7(12):2726-2733.
[5] YANG X S.Firefly algorithm,Lévy flights and global optimization[C].Research and Development in Intelligent Systems XXVI,2010,20:209-218.
[6] TIAN Y,GAO W,YAN S.An improved inertia weight firefly optimization algorithm and application[C].International Conference on Control Engineering and Communication Technology.IEEE Computer Society,2012:64-68.
[7] 楊嬌,葉春明.應(yīng)用新型螢火蟲(chóng)算法求解Job-shop調(diào)度問(wèn)題[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(11):213-215.
[8] KOELSTRA S,MUHL C,SOLEYMANI M,et al.DEAP:A database for emotion analysis;using physiological signals[J].IEEE Transactions on Affective Computing,2012,3(1):18-31.
[9] RUSSELL J A.A circumplex model of affect[J].Journal of Personality and Social Psychology,1980,39(6):1161-1178.
[10] XU Y,CHEN M,LI G.Least squares twin support vector machine with Universum data for classification[J].International Journal of Systems Science,2015:1-9.
[11] LIU S,TIAN Y,PENG C,et al.Facial expression recognition approach based on least squares support vector machine with improved particle swarm optimization algorithm[C].IEEE International Conference on Robotics and Biomimetics.IEEE,2010:399-404.
作者信息:
金 純1,2,陳光勇1
(1.重慶郵電大學(xué) 無(wú)線移動(dòng)通信理論與技術(shù)重點(diǎn)實(shí)驗(yàn)室,重慶400065;2.重慶金甌科技發(fā)展有限責(zé)任公司,重慶400041)