《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計應(yīng)用 > 基于多特征融合的駕駛員狀態(tài)檢測的實現(xiàn)
基于多特征融合的駕駛員狀態(tài)檢測的實現(xiàn)
2017年電子技術(shù)應(yīng)用第4期
許鵬程,李志斌,黃啟韜,周奕軒,吳文峰
上海電力學(xué)院 自動化工程學(xué)院,上海200090
摘要: 針對駕駛員狀態(tài)檢測和提取特征單一化以及檢測設(shè)備成本過高的缺陷,提出了一種多特征融合的駕駛員狀態(tài)的實現(xiàn)。該系統(tǒng)以內(nèi)置DSP芯片的STM32L4低功耗單片機為核心,首先通過SON1303、MPU6050等傳感器實時采集,分別獲取人的脈搏、加速度、角速度以及姿態(tài)角特征參數(shù);其次,脈搏調(diào)用DSP庫實現(xiàn)快速傅里葉變換(FFT),利用切比雪夫窗口設(shè)計濾波器提取頻譜;最后,通過駕駛員狀態(tài)良好、疲勞、分心以及緊張頻譜分析,定義第一主峰B以及頻譜比K,融合B、K、姿態(tài)角、加速度、角速度等特征實現(xiàn)對駕駛員狀態(tài)的判斷。通過實驗測試,該系統(tǒng)具有抗干擾強、低成本等特點,可以廣泛應(yīng)用于駕駛員狀態(tài)檢測,便于ADAS技術(shù)推廣。
中圖分類號: TP23
文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.2017.04.003
中文引用格式: 許鵬程,李志斌,黃啟韜,等. 基于多特征融合的駕駛員狀態(tài)檢測的實現(xiàn)[J].電子技術(shù)應(yīng)用,2017,43(4):13-16,20.
英文引用格式: Xu Pengcheng,Li Zhibin,Huang Qitao,et al. The implementation of diver′s state detection based on multiple feature fusion[J].Application of Electronic Technique,2017,43(4):13-16,20.
The implementation of diver′s state detection based on multiple feature fusion
Xu Pengcheng,Li Zhibin,Huang Qitao,Zhou Yixuan,Wu Wenfeng
Shanghai University of Electric Power,College of Automation Engineering,Shanghai 200090,China
Abstract: Aiming at the simplification of the driver′s state detection, feature extraction, and the high cost of detecting equipment, the implementation of driver′s state detection based on multiple feature fusion isproposed. The system adopts STM32L4 DSP chip as the core control. Firstly, characteristics such as pulse, acceleration, angular velocity, attitude angle and human body temperature are acquired and processed by SON1303, MPU6050. Secondly, for pulse, DSP library is called to implement FFT and Chebyshev filter is used to extract the frequency spectrum. Finally, a method via analyzing the frequency spectrum of the driver′s state, tiredness, distraction and tension , defining the first main peak B and spectral ratio K, and fusing these characteristics as B, K, attitude angle, acceleration and angular velocity can judge driver′s states effectively. Experiments show that the system has the characteristics of strong anti-interference, low cost, etc. It can be widely used in the state detecting of divers, and it can promote the popularization of ADAS.
Key words : pulse;posture;FFT;Chebyshev filter;spectrum analysis;multiple feature fusion

0 引言

    無人駕駛技術(shù)成為社會關(guān)注的焦點,如何有效地利用ADAS系統(tǒng)對提高行車安全以及人體操縱舒適性顯得尤為關(guān)鍵。安全,是首當(dāng)其沖的指標(biāo)。目前主流ADAS系統(tǒng)采用融合攝像頭和多種傳感器的感知層,結(jié)合運動評估系統(tǒng)和可視/非可視系統(tǒng)的判斷層,達(dá)到實現(xiàn)導(dǎo)航、防碰撞、自動泊車等功能。ADAS系統(tǒng)高復(fù)雜性提高了行車安全性,但是目前主要應(yīng)用于一些高檔車型,不利于ADAS系統(tǒng)在普通車型的推廣和應(yīng)用。

    人-車-交通安全中最重要是駕駛員安全,目前ADAS系統(tǒng)涉及行車安全兩方面。一方面通過ADAS系統(tǒng)中車道偵測和預(yù)警對當(dāng)前路面的客觀環(huán)境的判斷達(dá)到提前預(yù)警;另一方面通過ADAS系統(tǒng)中疲勞駕駛探測對駕駛員本人疲勞情況判斷,避免疲勞駕駛。

    疲勞駕駛探測也是ADAS系統(tǒng)發(fā)展重要環(huán)節(jié)。一方面Chai R等人提出基于腦電圖貝葉斯神經(jīng)網(wǎng)絡(luò)與自回歸建模提取來區(qū)分駕駛員的疲勞狀態(tài),但是提取特征較為單一化[1];另一方面Craye C等人提出融合音頻、視頻、心率等特性通過貝葉斯網(wǎng)絡(luò)提供疲勞和分心的區(qū)別,使得準(zhǔn)確率高達(dá)98.4%,但是沒有提出人的其他情緒的判別,而且設(shè)備成本大大增加[2]。

    為了解決提取特征單一化、駕駛員狀態(tài)判斷趨單一的疲勞檢測以及設(shè)備成本過高等不足,本文設(shè)計了一種耳戴式多特征融合駕駛員狀態(tài)檢測的穿戴設(shè)備。通過融合B、K、姿態(tài)角、加速度、角速度等特征實現(xiàn)對駕駛員狀態(tài)的狀態(tài)良好、疲勞、分心以及緊張判斷。該設(shè)備具有便于攜帶,同時將預(yù)留WiFi、藍(lán)牙等無線技術(shù)接口與ADAS系統(tǒng)通信或?qū)?shù)據(jù)傳輸云端服務(wù)器。

1 系統(tǒng)設(shè)計

    基于多特征融合駕駛員狀態(tài)檢測系統(tǒng)由多信號輸入的采集模塊、內(nèi)置DSP的STM32L4測控模塊以及含有藍(lán)牙、WiFi等通信模塊組成,系統(tǒng)整體框圖如圖1所示。

adas3-t1.gif

    信號采集模塊使用MPU6050、脈搏分別采集人體姿態(tài)角、運動加速度、運動角速度以及脈搏參數(shù)。傳感器采集到的多參數(shù)信號進(jìn)入測控模塊STM32L4中進(jìn)行信號的特征提取以及信號的處理,將處理完的信號通過通信模塊無線WiFi、藍(lán)牙技術(shù)傳到ADAS系統(tǒng)或者云端服務(wù)器。如果出現(xiàn)指標(biāo)異常,系統(tǒng)就會通過提醒駕駛員,提醒相關(guān)人員采取措施,防止意外情況的二次傷害、搶救時間不及時等。

2 系統(tǒng)硬件實現(xiàn)

2.1 主控制器

    為了達(dá)到低成本、低功耗以及高性能的要求,主控芯片STM32L4基于ARM系列Cortex-M4內(nèi)核,內(nèi)置集成CAN控制器、USART通信接口等豐富資源。同時,在特征提取頻譜可以調(diào)用ST官方匯編DSP庫的應(yīng)用實現(xiàn)快速傅里葉變換(FFT)與數(shù)字濾波器功能。

2.2 光電脈搏傳感器

    光電式脈搏法是借助活體組織毛細(xì)血管在血管容積收縮導(dǎo)致透光率改變達(dá)到測量脈搏的檢測方法。本系統(tǒng)使用的傳感器包括光源發(fā)射和光電接收,光源一般選用對人體毛細(xì)血管中氧和血紅蛋白有選擇吸收的一定波長的發(fā)光二極管。當(dāng)光束透過血管被反射的光被光敏接收器接收,此時可以測出人體動脈搏動充血容積變化[3]。

    本系統(tǒng)傳感器采用了發(fā)光源峰值波長相近靈敏度高的綠光LED以及光電接收器的SON1303。為了提高信噪比在傳感器后面使用了低通濾波器和運算放大電路,使放大后的信號可以很好地被MCU的AD采集到。

2.3 姿態(tài)檢測傳感器

    姿態(tài)采用由3軸角速度、3軸加速器和內(nèi)置DMP處理器組成6自由度運動的MPU-6050傳感器,可以測三軸的角速度和加速度。通過IIC接口與MCU通信,使用內(nèi)置運動處理資料庫實現(xiàn)姿態(tài)解算,降低了運動處理運算對CPU的要求[4]。

    MPU-6050的加速度傳感器設(shè)置為±2 g的滿量程范圍,因為加速傳感器的ADC為16位分辨率。同理,設(shè)置陀螺儀的滿量程范圍:±2 000°/s,陀螺儀的ADC為16位分辨率,根據(jù)姿態(tài)傳感器只能反應(yīng)人體狀態(tài)而不能檢測突變的情況,通過融合重力加速度、角加速度可以很好解決人體突變時的分析,結(jié)構(gòu)圖如圖2所示。

adas3-t2.gif

3 系統(tǒng)軟件設(shè)計

    系統(tǒng)流程圖如圖3所示。系統(tǒng)首先設(shè)定脈搏、姿態(tài)傳感器的A/D采樣初始化,然后定時器中斷開始,完成脈搏、姿態(tài)、加速度等狀態(tài)參數(shù)采樣,通過調(diào)用內(nèi)置DSP的256點的FFT子函數(shù)對所采集的脈搏信號進(jìn)行頻譜分析;最后,融合加速度、角速度、姿態(tài)角等信息來判定人的疲勞狀態(tài)、分心等不同情緒的狀態(tài)。

adas3-t3.gif

3.1 脈搏的算法設(shè)計

    脈搏計算任務(wù)周期地采集、濾波、計算心率值。為了避免因采集干擾,采用防脈沖干擾10點平均濾波法進(jìn)行原始信號預(yù)處理。通過采樣設(shè)定選用時間序列為X(n),n=0,1,…,N-1脈搏信號,設(shè)X(n)的FFT變換為X(ω),再利用FFT計算各頻率段的功率譜為P(ω)。選用調(diào)用STM32L4官方提供的DSP庫中的FFT函數(shù),可以高效執(zhí)行計算各頻率段的脈搏信號的幅值譜。程序設(shè)計中調(diào)用cr4_fft_256_stm32函數(shù),可實現(xiàn)對256個數(shù)據(jù)點的FFT運算,運算得到各次頻率分量的幅值、實部、虛部等信息將保存在IBufMagArray[i]數(shù)組中。上述N=256點快速傅里葉變換adas3-t3-x1.gifk=0,1,…,N-1,然后對各頻率段幅值平方為頻譜能量Si(k)=|Xi(k)|2。

    通過實驗可知99%以上的能量集中在10 Hz之內(nèi),利用切比雪夫窗口設(shè)計數(shù)字濾波器[5]。通過工具箱fdatool獲得數(shù)字濾波器系數(shù)后在STM32L4運行arm_fir_f32函數(shù),完成數(shù)字濾波。

3.2 姿態(tài)的算法設(shè)計

    本系統(tǒng)首先建立以人體正前方為Y軸,正左方為X軸,上方為Z軸的坐標(biāo)系,如圖4所示。

adas3-t4.gif

    四元數(shù)和歐拉角的轉(zhuǎn)換公式[6]

adas3-gs1-2.gif

其中,T為周期,K1為初始時刻的斜率,K2為T時刻后的終點斜率,p(t)為初始時刻的四元數(shù),p(t+T)為T時刻后的四元數(shù)。

    姿態(tài)矩陣的實時計算,確定姿態(tài)矩陣CE[8]

adas3-gs3-4.gif

    通過mpu_dmp_get_data函數(shù)讀取上述俯仰角、橫滾角、偏航角。

4 系統(tǒng)測試與數(shù)據(jù)分析

    數(shù)據(jù)樣本來源于20名駕駛員志愿者,年齡在24-65歲,對采集系統(tǒng)熟悉的情況下進(jìn)行測試,為了保證樣本可靠性,選取不同時間點、不同狀態(tài)進(jìn)行分別測試得到姿態(tài)以及脈搏的采樣樣本。

4.1 駕駛員良好狀態(tài)測試與數(shù)據(jù)分析

    由于實驗者測得脈搏狀態(tài)存在差異,系統(tǒng)初始化完成后進(jìn)行一次基準(zhǔn)值采樣,用于后期判斷的基礎(chǔ),對基準(zhǔn)狀態(tài)下脈搏時域進(jìn)行FFT變換為各次頻譜、頻譜能量等信息如圖5所示,主峰頻率為1.225 Hz,心率即為73.5次/min。其他主峰都是心率高次頻譜,通過分析第一主峰與其他峰的關(guān)系以及各頻譜能量的關(guān)系可以得知駕駛員不同狀態(tài)。

adas3-t5.gif

4.2 駕駛員疲勞和分心狀態(tài)測試與數(shù)據(jù)分析

    汽車行駛過程中,駕駛員會表現(xiàn)出分心、疲勞等狀態(tài),通過疲勞駕駛者測試得到時域脈搏信號,STM32L4的DSP庫FFT變換頻譜幅值和能量如圖6所示,主峰頻率為1.13 Hz,心率即為67.8次/min。通過對比圖5和圖6,得知人在疲勞狀態(tài)時各次頻譜的幅值和頻譜能量呈現(xiàn)下降趨勢,脈搏也呈現(xiàn)下降趨勢。

adas3-t6.gif

4.3 駕駛員緊張狀態(tài)測試與數(shù)據(jù)分析

    當(dāng)駕駛員遇到突發(fā)情況,緊急制動或急轉(zhuǎn)彎,會造成駕駛員的緊張。通過多次實驗可知,查看左右后視鏡等正常生活不會引起加速度和角速度突變,所以本實驗重點對緊張時表現(xiàn)特征如表1所示。

adas3-b1.gif

    對于融合多特征綜合分析,下面具體分析以急剎向前為例。從圖7可以看出,在采樣時間2 s時向前急剎,此時脈搏受到干擾,可以看出Y軸的角速度Gy、X軸加速度Ax以及Z軸加速度Az對于脈搏的影響較大,可以得知第一條主峰頻譜為1.41 Hz,此時人的心率為84.6次/min,第二主峰頻譜2.97 Hz,這個頻譜的能量主要是由于外界提供,此時不能通過數(shù)字濾波器將此頻率段濾波,便于后面疲勞以及分心分析。

adas3-t7.gif

4.4 多特征融合分析

    為了避免單一特征造成數(shù)據(jù)不準(zhǔn)確以及突發(fā)情況造成系統(tǒng)的誤判,本文通過融合脈搏、姿態(tài)角加速度、加速度等多特征信息更準(zhǔn)確反饋信息。實驗可知正常的人的脈搏60-100次,所以合理的基頻在1-1.67 Hz之間,本文定義基頻為第一主峰符號B,不同狀態(tài),主峰不一致;本文定義頻譜量比為高次頻譜能量能量和與第一主峰的頻譜能量比值K來確定駕駛員的狀態(tài)。具體如表2多特征融合所示。

adas3-b2.gif

4.5 單一特征與多特征融合的對比分析

    為了更加客觀的評價本文中所提出多特征融合的優(yōu)越性,本文設(shè)計了對比試驗。為保證測試樣本的多樣性與可靠性,測試時間與測試環(huán)境均為不固定的,總共進(jìn)行了6組測試,為保證對比試驗產(chǎn)生的誤差最小,將穿戴設(shè)備同時分別夾在被試者的左右耳同時進(jìn)行測試。得到單一脈搏測試與多特征融合測試各為120組,如表3所示。

adas3-b3.gif

    實驗表明,多特征融合的識別駕駛員狀態(tài)時的成功率90.83%比單一脈搏特征信號的識別率62.5%效果更好。

5 結(jié)語

    本系統(tǒng)通過實驗表明,采集到脈搏信號進(jìn)行FFT以及切比雪夫濾波對頻譜的提取,通過頻譜分析可以很好判斷駕駛員疲勞駕駛狀態(tài),同時定義的第一主峰B以及頻譜能量比K可以很好判別駕駛員緊張的狀態(tài),融合姿態(tài)、加速度以及角速度等多特征可以對駕駛員分心、疲勞、緊張情況綜合判斷,通過測試多特征融合判斷比單一特征提高達(dá)28%,同時,系統(tǒng)預(yù)留無線接口方便與ADAS系統(tǒng)通信,根據(jù)駕駛員的不同狀態(tài),輔助駕駛員操作,極大提高行車安全。該系統(tǒng)集成度高、低功耗,便于人體攜帶,且可以應(yīng)用于普通汽車駕駛者使用,具有應(yīng)用和推廣價值,便于ADAS技術(shù)的實現(xiàn)與推廣。

參考文獻(xiàn)

[1] CHAI R,NAIK G,NGUYEN T N,et al.Driver fatigue classification with independent component by entropy rate bound minimization analysis in an EEG-based system[J].IEEE Journal of Biomedical & Health Informatics,2016(99):1-1.

[2] CRAYE C,RASHWAN A,KAMEL M S,et al.A multimodal driver fatigue and distraction assessment system[J].International Journal of Intelligent Transportation Systems Research,2016(3):1-22.

[3] 高小鵬,龐宇,黎圣峰,等.耳夾式可穿戴體征參數(shù)感測裝置的設(shè)計[J].電子技術(shù)應(yīng)用,2016,42(12).

[4] 張承岫,李鐵鷹,王耀力,等.基于MPU6050和互補濾波的四旋翼飛控系統(tǒng)設(shè)計[J].傳感技術(shù)學(xué)報,2016,29(7):1011-1015.

[5] 何成.基于多生理信號的情緒識別方法研究[D].杭州:浙江大學(xué),2016.

[6] 葉锃鋒,馮恩信.基于四元數(shù)和卡爾曼濾波的兩輪車姿穩(wěn)定方法[J].傳感技術(shù)學(xué)報,2012,25(4):524-528.

[7] 樊炳輝,張凱麗,王傳江,等.基于四元數(shù)的前臂假肢手部自平衡的設(shè)計[J].電子技術(shù)應(yīng)用,2016,42(5):78-81.

[8] 何川,李智,王勇軍,等.基于STM32的四旋翼飛行器的姿態(tài)最優(yōu)估計研究[J].電子技術(shù)應(yīng)用,2015,41(12):61-64.



作者信息:

許鵬程,李志斌,黃啟韜,周奕軒,吳文峰

(上海電力學(xué)院 自動化工程學(xué)院,上海200090)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。