0 引言

    情感計(jì)算的概念是由美國(guó)MIT媒體實(shí)驗(yàn)室的PICAR R提出的，是指對(duì)與情緒有關(guān)的、由情緒引發(fā)的、或是能夠影響情緒因素的計(jì)算。情緒不僅有內(nèi)心體驗(yàn)和外部行為表現(xiàn)，同時(shí)伴隨著復(fù)雜的神經(jīng)過程和生理變化。情緒可由表情、語(yǔ)音、姿態(tài)、文本等非生理信號(hào)進(jìn)行感知，但人體的生理信號(hào)不易偽裝，可獲得更加客觀有效的結(jié)果^[1]。針對(duì)基于生理信號(hào)的情緒識(shí)別，國(guó)內(nèi)外科研工作者做了大量的研究，PICARD R等采集了不同情感狀態(tài)下皮膚電反應(yīng)、血容量波動(dòng)、肌電信號(hào)、呼吸作用的4種生理信號(hào)，得到針對(duì)8種情緒81%的識(shí)別準(zhǔn)確度^[2]。KIM K H等開發(fā)了一種基于多用戶生理信號(hào)的短時(shí)監(jiān)控情緒識(shí)別系統(tǒng)，使用支持向量機(jī)對(duì)悲傷、壓抑、驚奇和憤怒4種情感狀態(tài)進(jìn)行分類識(shí)別^[3]。劉光遠(yuǎn)等通過多導(dǎo)生理記錄儀MP150采集多種生理信號(hào)，利用Fisher、k-NN等智能算法進(jìn)行特征提取和分析，識(shí)別6種基本情感狀態(tài)，獲得60~90%的識(shí)別率^[4，5]。

    現(xiàn)代科學(xué)技術(shù)提供了基于生理信號(hào)的情感識(shí)別方法，但是通常需要昂貴笨重的設(shè)備，影響了用戶體驗(yàn)效果及市場(chǎng)應(yīng)用。伴隨著無(wú)線通信技術(shù)、嵌入式及傳感器技術(shù)的快速發(fā)展，可穿戴式智能設(shè)備在醫(yī)療、健康等多個(gè)領(lǐng)域表現(xiàn)出重要的研究?jī)r(jià)值和應(yīng)用潛力^[6]。本文針對(duì)情感計(jì)算設(shè)計(jì)了一種基于生理信號(hào)的情緒識(shí)別腕帶設(shè)備。

1 系統(tǒng)總體設(shè)計(jì)

    皮膚電反應(yīng)和心率變化是反映人體心理的放松和緊張程度、情緒波動(dòng)、性格特征的重要依據(jù)。1890年，Tarchanoff發(fā)現(xiàn)機(jī)體在視、聽、痛等感覺刺激及情緒激動(dòng)時(shí)皮膚兩點(diǎn)之間電阻降低，他將這種現(xiàn)象稱為皮膚電反射（Galvanic Skin Response，GSR）。然而由于環(huán)境溫度或人體運(yùn)動(dòng)的影響，皮膚溫度隨之發(fā)生變化，GSR信號(hào)會(huì)受到干擾，同時(shí)人體運(yùn)動(dòng)時(shí)會(huì)造成心率偽像，導(dǎo)致生理信號(hào)測(cè)量不準(zhǔn)，因此，增加了對(duì)皮膚溫度及加速度的測(cè)量。系統(tǒng)總體框架如圖1所示。

2 硬件設(shè)計(jì)

2.1 生理信號(hào)及動(dòng)力學(xué)信號(hào)采集單元

2.1.1 皮膚電及皮膚溫度測(cè)量

    人們情緒變化時(shí),交感神經(jīng)活動(dòng)度發(fā)生變化,汗腺分泌活動(dòng)改變，由于汗液中存在大量的電解質(zhì)，從而導(dǎo)致皮膚的導(dǎo)電性發(fā)生變化。對(duì)于情緒這種難以檢測(cè)的心理活動(dòng)，利用皮膚電阻進(jìn)行測(cè)定成為了最有效的方法。皮膚電阻阻值較大，一般在2 kΩ~50 kΩ之間，而由情緒、呼吸變化引起的皮膚電阻變化幅度很小，需對(duì)其進(jìn)行較大幅度的放大。皮膚阻抗測(cè)量電路如圖2所示。

    通過兩個(gè)接觸探針測(cè)量皮膚的阻抗，經(jīng)過阻-壓轉(zhuǎn)換調(diào)理電路獲得微弱的變化信號(hào)，再由差分放大電路濾除干擾最終獲得皮膚阻抗相對(duì)變化情況。

    由于外界環(huán)境溫度的變化會(huì)影響到汗腺分泌情況，從而影響GSR信號(hào)，因此需增加一個(gè)溫度傳感器來(lái)研究溫度對(duì)GSR信號(hào)的影響。本設(shè)備采用Maxim數(shù)字溫度傳感器DS18B20Z，它提供9～12 bit攝氏度溫度測(cè)量數(shù)據(jù)，通過1-Wire總線通信，可直接將溫度轉(zhuǎn)化成串行數(shù)字信號(hào)供MCU處理。應(yīng)注意DS18B20主要通過GND引腳檢測(cè)溫度，腕帶設(shè)備通過底部金屬探針接觸皮膚，作為GND引腳和被測(cè)熱源（皮膚）之間的良好導(dǎo)熱通道。

2.1.2 心率測(cè)量

    心率測(cè)量基于光電容積脈搏波描記法^[7]（Photoplethysmography，PPG）,采用SON7015心率傳感器，其集成高靈敏度光感IC，2個(gè)綠光LED以及低噪聲的前置放大器。測(cè)量時(shí)，利用峰值波長(zhǎng)為550 nm的綠光LED照射腕部皮膚表面，根據(jù)朗伯-比爾定律(Lamber-Beer′s Law)，通過測(cè)量動(dòng)脈血管的組織容積在心臟波動(dòng)時(shí)的微小變化造成的反射光強(qiáng)度變化，獲得微弱的心率原始信號(hào)。該信號(hào)的幅值為10 μV～5 mV，其典型值為1 mV，在處理時(shí)若要求輸出達(dá)到1 V左右，則放大倍數(shù)要做到1 000倍左右。采用具有較高的共模抑制比的OPA4313運(yùn)算放大器，實(shí)現(xiàn)放大后的信號(hào)無(wú)失真、低噪聲等要求。通過濾波和放大及比較電路得到較好的方波輸出，如圖3所示。設(shè)T為輸出的方波中2個(gè)上升沿之間的時(shí)間差，則每分鐘心跳數(shù)BPM為：

    在MCU中可經(jīng)過兩次捕捉事件得到時(shí)間間隔T，利用式(1)計(jì)算得到BPM，實(shí)現(xiàn)動(dòng)態(tài)心率的測(cè)量。然而在實(shí)際測(cè)量中面臨兩大問題：首先環(huán)境光的干擾使得測(cè)量信號(hào)中易出現(xiàn)較大的噪聲信號(hào)，可通過腕帶式的結(jié)構(gòu)設(shè)計(jì)來(lái)減小環(huán)境光影響；其次，當(dāng)傳感器與腕部發(fā)生相對(duì)運(yùn)動(dòng)時(shí)，對(duì)信號(hào)波形的形狀亦會(huì)產(chǎn)生干擾，通常稱為運(yùn)動(dòng)偽跡，強(qiáng)烈的運(yùn)動(dòng)偽跡遠(yuǎn)遠(yuǎn)大于心率信號(hào)，嚴(yán)重破壞輸出的心率信號(hào)波形，從而影響到心率測(cè)量的準(zhǔn)確性。因此，需通過加速度傳感器研究運(yùn)動(dòng)狀態(tài)對(duì)心率的影響。

2.1.3 動(dòng)力學(xué)信號(hào)測(cè)量

    采用NXP半導(dǎo)體公司MMA8452Q三軸加速度傳感器，其可感受X、Y、Z 3個(gè)自由度的加速度信號(hào)，全方位感知人體運(yùn)動(dòng)信息。采集的加速度數(shù)據(jù)可以通過傳感器內(nèi)部的高通濾波器實(shí)時(shí)輸出，輸出信號(hào)已被轉(zhuǎn)換為12 bit數(shù)字量信號(hào)，通過I2C接口為MCU讀取。在MCU中利用式(2)計(jì)算x、y、z 3個(gè)方向加速度的矢量長(zhǎng)度和，獲得運(yùn)動(dòng)的幅度（magnitude）軌跡：

    人體最快的跑步頻率為5 Hz，即相鄰兩步的時(shí)間間隔至少大于0.2 s，設(shè)置最小時(shí)間間隔，從而在計(jì)步過程中過濾掉高頻噪聲。同時(shí)，通過設(shè)定幅度閾值來(lái)判斷運(yùn)動(dòng)是否有效，通過對(duì)峰值次數(shù)的累加，可得到用戶的步數(shù)及用戶的運(yùn)動(dòng)狀態(tài)。步行狀態(tài)下加速度矢量和的變化如圖4所示。

2.2 信號(hào)處理及無(wú)線通信單元

    基于ARM Cortex-M處理器的MCU是針對(duì)智能腕帶的最佳解決方案^[8]，本設(shè)備采用STM32L052作為腕帶設(shè)備的主控，片上集成了同類型MCU中功耗最低的12 bit模數(shù)轉(zhuǎn)換器(ADC)，在10 kb/s的采樣率下功耗僅為48 μA。通信單元采用Dialog公司藍(lán)牙芯片DA14580，它集成無(wú)線收發(fā)器和基帶處理器，發(fā)射電流低至3.4 mA，接收電流低至3.7 mA，可在超低功耗下提供非常好的射頻性能及靈活的外圍配置。在DSPS(Dialog Serial Port Service)的基礎(chǔ)上進(jìn)行串口透?jìng)鞴δ荛_發(fā)，實(shí)現(xiàn)數(shù)據(jù)的傳輸。

2.3 電源管理及無(wú)線充電

    腕帶設(shè)備如圖5所示，由鋰離子可再充電電池LIR2032經(jīng)XC6206 3.3 V/0.5 A穩(wěn)壓芯片后提供3.3 V電壓供整個(gè)系統(tǒng)使用。MCU采集電池分壓電路后電壓值，映射成電池剩余電量。選用IDT公司P9235B+P9025AC無(wú)線充電解決方案進(jìn)行穿戴設(shè)備的擴(kuò)展，其中接收端P9025AC內(nèi)置集成同步全橋整流器和LDO輸出級(jí)，將輸入的無(wú)線電源信號(hào)轉(zhuǎn)換為5 V/0.4 A的穩(wěn)壓輸出，通過PJ4054單片鋰離子電池恒流/恒壓線性電源管理芯片給電池充電。系統(tǒng)具有過溫過壓過流保護(hù)，充滿電可自動(dòng)關(guān)閉發(fā)送。

3 軟件設(shè)計(jì)

3.1 下位機(jī)

    軟件分為發(fā)送和接收兩部分，接收部分主要涉及智能終端控制腕帶設(shè)備上的LED情緒指示燈，用于消息提醒的振動(dòng)馬達(dá)和低功耗模式開啟等；發(fā)送部分主要包括MCU對(duì)各個(gè)生理信號(hào)的處理算法，其中發(fā)送主程序流程如圖6所示。通過判斷當(dāng)前運(yùn)動(dòng)狀態(tài)，將處于劇烈運(yùn)動(dòng)時(shí)采集到的心率及皮電數(shù)據(jù)不再發(fā)送，從而確保上位機(jī)最終獲得穩(wěn)定可靠的生理信號(hào)數(shù)據(jù)。

3.2 上位機(jī)

    為了便于腕帶設(shè)備的校正及后期數(shù)據(jù)分析，搭建基于LabVIEW數(shù)據(jù)采集系統(tǒng)，主要包括串口交互、數(shù)據(jù)處理及顯示2個(gè)程序塊。首先，通過接入計(jì)算機(jī)USB端口的藍(lán)牙適配器進(jìn)行無(wú)線連接，利用VISA節(jié)點(diǎn)進(jìn)行串行通信編程，數(shù)據(jù)接收部分主程序框架采用狀態(tài)機(jī)模型：條件結(jié)構(gòu)+While循環(huán)+事件結(jié)構(gòu)。在傳輸數(shù)據(jù)之前，下位機(jī)程序中已給生理信號(hào)及其他非生理信號(hào)(運(yùn)動(dòng)幅值、電量、步數(shù))等數(shù)據(jù)變量定義校驗(yàn)幀頭，用于甄別是否為有效數(shù)據(jù)，當(dāng)與預(yù)先定義的所有幀頭均一致時(shí)，上位機(jī)接收相應(yīng)數(shù)據(jù)。然后，各幀依次執(zhí)行串口配置及控件的初始化，采集下位機(jī)的數(shù)據(jù)并顯示在前面板的數(shù)值框和波形圖中，同時(shí)將數(shù)據(jù)寫入電子表格文件。最后，關(guān)閉串口通信及釋放程序。

3.3 移動(dòng)應(yīng)用

    在移動(dòng)客戶端,利用藍(lán)牙的API進(jìn)行藍(lán)牙設(shè)備的連接和數(shù)據(jù)的收發(fā),實(shí)現(xiàn)對(duì)腕帶設(shè)備的控制,并建立用戶表。在本地用SQLITE進(jìn)行用戶數(shù)據(jù)和生理信號(hào)中特征值的存儲(chǔ)。使用Android圖表引擎AChartEngine，建立定時(shí)任務(wù)刷新圖表，顯示所需的波形曲線。應(yīng)用界面如圖7所示。

    客戶端借助第三方云服務(wù)，通過Apache HTTTP Client連接服務(wù)器后以Json形式傳輸數(shù)據(jù)。服務(wù)端基于MVC模型設(shè)計(jì)用戶登錄和注冊(cè)的Severlet以及用戶表、用戶狀態(tài)表、各個(gè)設(shè)備信號(hào)檢測(cè)記錄表和文件存儲(chǔ)。

4 實(shí)驗(yàn)分析

    從離散和維度兩種視角來(lái)建構(gòu)和理解情緒空間，將具有顯著特征的離散的情緒狀態(tài)以維度化的方式表達(dá)，如圖8所示。

    研究情緒識(shí)別的可行性，很大程度上依賴于情感的誘發(fā)方法，本文采用視頻刺激及情感情境誘發(fā)相結(jié)合獲取個(gè)體的不同情緒狀態(tài)^[9]。分別提取具有較強(qiáng)烈的情感狀態(tài)下的數(shù)據(jù)，包括興奮、緊張、中性及溫?zé)嵝猿龊?，截取其? min內(nèi)的數(shù)據(jù)，如圖9所示。

    通過用戶的主觀評(píng)價(jià)標(biāo)記訓(xùn)練樣本并使用有監(jiān)督的機(jī)器學(xué)習(xí)算法——BP神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)的主要特點(diǎn)是信號(hào)前向傳遞誤差反向傳播，包括輸入層、隱含層及輸出層三層。

    首先，使用式(3)，應(yīng)用最大最小法對(duì)生理信號(hào)進(jìn)行歸一化處理：

式中，x_k是數(shù)據(jù)樣本；x_max和x_min分別是數(shù)據(jù)序列中的最大值和最小值。

    其次，根據(jù)生理特征信號(hào)特點(diǎn)確定BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為3-4-4，隨機(jī)初始化BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值。

    最后，用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)分類生理信號(hào)測(cè)試數(shù)據(jù)。BP神經(jīng)網(wǎng)絡(luò)分類正確率如表1所示。

    雖然生理信號(hào)可以客觀地反映人的情感狀態(tài)，但是對(duì)喚醒度較高的情感才有良好的識(shí)別效果。若要進(jìn)行多種情感的分類，如驚訝、輕蔑、惡心等，則需要將生理信號(hào)同表情、語(yǔ)音、身體姿態(tài)等其他方式進(jìn)行融合。如圖7中所示，通過調(diào)用前置攝像頭獲取用戶面部表情，結(jié)合微軟公司認(rèn)知服務(wù)中的人臉情緒識(shí)別API來(lái)實(shí)現(xiàn)更多樣更準(zhǔn)確的情感識(shí)別。

5 結(jié)論

    本文設(shè)計(jì)了一種基于STM32L052K8的低功耗生理信號(hào)采集腕帶設(shè)備，通過低功耗藍(lán)牙將采集的生理信號(hào)發(fā)送至具有藍(lán)牙4.0接口的智能設(shè)備端，利用BP神經(jīng)網(wǎng)絡(luò)對(duì)生理信號(hào)進(jìn)行分析處理，識(shí)別興奮、緊張及中性3種情緒狀態(tài)，獲得了較高準(zhǔn)確性。

參考文獻(xiàn)

[1] 張迪，萬(wàn)柏坤，明東.基于生理信號(hào)的情緒識(shí)別研究進(jìn)展[J].生物醫(yī)學(xué)工程學(xué)雜志，2015，32(1)：229-234.

[2] PICARD R，VYZAS E，HEALEY J.Toward machine emotional intelligence analysis of affective physiological state[J].IEEE Transactions Pattern Analysis and Machine Intelligence，2001，23(10)：1175-1191.

[3] KIM K H，BANG S W，KIM S R.Emotion recognition system using short-term monitoring of physiological signals[J].Medical and Biological Engineering and Computing，2004，42(3)：419-472.

[4] YANG Z F，LIU G Y.Emotion recognition based on nonlinear features of skin conductance response[J].Journal of Information & Computational Science，2013，10(12)：3877-3887.

[5] YAN F F，LIU G Y，LAI X W.The research on material selection algorithm design with improved OWA in active regulation system based on human-computer interaction[J].Journal of Information and Computational Science，2013，14(9)：4477-4486.

[6] 謝凌欽，石萍，蔡文杰.可穿戴式智能設(shè)備關(guān)鍵技術(shù)及發(fā)展趨勢(shì)[J].生物醫(yī)學(xué)工程與臨床，2015，19(6)：635-640.

[7] 石萍，喻洪流.光電容積描記技術(shù)原理及其應(yīng)用[J].生物醫(yī)學(xué)工程學(xué)雜志，2013，30(4)：899-904.

[8] 吳灶全，劉夢(mèng)星，秦麗平，等.基于ARM Cortex-M0+內(nèi)核的穿戴式醫(yī)療設(shè)備MCU選型分析[J].中國(guó)醫(yī)療器械雜志，2015，39(3)：192-196.

[9] 趙國(guó)朕，宋金晶，葛燕，等.基于生理大數(shù)據(jù)的情緒識(shí)別研究進(jìn)展[J].計(jì)算機(jī)研究與發(fā)展，2016，53(1)：80-92.

作者信息:

李英春1，尤  磊1，賀靖康1，周  柯2，趙立強(qiáng)1，李  燁1

（1.陜西科技大學(xué) 電氣與信息工程學(xué)院，陜西 西安710021；2.西安滄海網(wǎng)絡(luò)科技有限公司，陜西 西安710000）