《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 基于多特征融合的駕駛員狀態(tài)檢測的實現
基于多特征融合的駕駛員狀態(tài)檢測的實現
2017年電子技術應用第4期
許鵬程,李志斌,黃啟韜,周奕軒,吳文峰
上海電力學院 自動化工程學院,上海200090
摘要: 針對駕駛員狀態(tài)檢測和提取特征單一化以及檢測設備成本過高的缺陷,提出了一種多特征融合的駕駛員狀態(tài)的實現。該系統以內置DSP芯片的STM32L4低功耗單片機為核心,首先通過SON1303、MPU6050等傳感器實時采集,分別獲取人的脈搏、加速度、角速度以及姿態(tài)角特征參數;其次,脈搏調用DSP庫實現快速傅里葉變換(FFT),利用切比雪夫窗口設計濾波器提取頻譜;最后,通過駕駛員狀態(tài)良好、疲勞、分心以及緊張頻譜分析,定義第一主峰B以及頻譜比K,融合B、K、姿態(tài)角、加速度、角速度等特征實現對駕駛員狀態(tài)的判斷。通過實驗測試,該系統具有抗干擾強、低成本等特點,可以廣泛應用于駕駛員狀態(tài)檢測,便于ADAS技術推廣。
中圖分類號: TP23
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.2017.04.003
中文引用格式: 許鵬程,李志斌,黃啟韜,等. 基于多特征融合的駕駛員狀態(tài)檢測的實現[J].電子技術應用,2017,43(4):13-16,20.
英文引用格式: Xu Pengcheng,Li Zhibin,Huang Qitao,et al. The implementation of diver′s state detection based on multiple feature fusion[J].Application of Electronic Technique,2017,43(4):13-16,20.
The implementation of diver′s state detection based on multiple feature fusion
Xu Pengcheng,Li Zhibin,Huang Qitao,Zhou Yixuan,Wu Wenfeng
Shanghai University of Electric Power,College of Automation Engineering,Shanghai 200090,China
Abstract: Aiming at the simplification of the driver′s state detection, feature extraction, and the high cost of detecting equipment, the implementation of driver′s state detection based on multiple feature fusion isproposed. The system adopts STM32L4 DSP chip as the core control. Firstly, characteristics such as pulse, acceleration, angular velocity, attitude angle and human body temperature are acquired and processed by SON1303, MPU6050. Secondly, for pulse, DSP library is called to implement FFT and Chebyshev filter is used to extract the frequency spectrum. Finally, a method via analyzing the frequency spectrum of the driver′s state, tiredness, distraction and tension , defining the first main peak B and spectral ratio K, and fusing these characteristics as B, K, attitude angle, acceleration and angular velocity can judge driver′s states effectively. Experiments show that the system has the characteristics of strong anti-interference, low cost, etc. It can be widely used in the state detecting of divers, and it can promote the popularization of ADAS.
Key words : pulse;posture;FFT;Chebyshev filter;spectrum analysis;multiple feature fusion

0 引言

    無人駕駛技術成為社會關注的焦點,如何有效地利用ADAS系統對提高行車安全以及人體操縱舒適性顯得尤為關鍵。安全,是首當其沖的指標。目前主流ADAS系統采用融合攝像頭和多種傳感器的感知層,結合運動評估系統和可視/非可視系統的判斷層,達到實現導航、防碰撞、自動泊車等功能。ADAS系統高復雜性提高了行車安全性,但是目前主要應用于一些高檔車型,不利于ADAS系統在普通車型的推廣和應用。

    人-車-交通安全中最重要是駕駛員安全,目前ADAS系統涉及行車安全兩方面。一方面通過ADAS系統中車道偵測和預警對當前路面的客觀環(huán)境的判斷達到提前預警;另一方面通過ADAS系統中疲勞駕駛探測對駕駛員本人疲勞情況判斷,避免疲勞駕駛。

    疲勞駕駛探測也是ADAS系統發(fā)展重要環(huán)節(jié)。一方面Chai R等人提出基于腦電圖貝葉斯神經網絡與自回歸建模提取來區(qū)分駕駛員的疲勞狀態(tài),但是提取特征較為單一化[1];另一方面Craye C等人提出融合音頻、視頻、心率等特性通過貝葉斯網絡提供疲勞和分心的區(qū)別,使得準確率高達98.4%,但是沒有提出人的其他情緒的判別,而且設備成本大大增加[2]

    為了解決提取特征單一化、駕駛員狀態(tài)判斷趨單一的疲勞檢測以及設備成本過高等不足,本文設計了一種耳戴式多特征融合駕駛員狀態(tài)檢測的穿戴設備。通過融合B、K、姿態(tài)角、加速度、角速度等特征實現對駕駛員狀態(tài)的狀態(tài)良好、疲勞、分心以及緊張判斷。該設備具有便于攜帶,同時將預留WiFi、藍牙等無線技術接口與ADAS系統通信或將數據傳輸云端服務器。

1 系統設計

    基于多特征融合駕駛員狀態(tài)檢測系統由多信號輸入的采集模塊、內置DSP的STM32L4測控模塊以及含有藍牙、WiFi等通信模塊組成,系統整體框圖如圖1所示。

adas3-t1.gif

    信號采集模塊使用MPU6050、脈搏分別采集人體姿態(tài)角、運動加速度、運動角速度以及脈搏參數。傳感器采集到的多參數信號進入測控模塊STM32L4中進行信號的特征提取以及信號的處理,將處理完的信號通過通信模塊無線WiFi、藍牙技術傳到ADAS系統或者云端服務器。如果出現指標異常,系統就會通過提醒駕駛員,提醒相關人員采取措施,防止意外情況的二次傷害、搶救時間不及時等。

2 系統硬件實現

2.1 主控制器

    為了達到低成本、低功耗以及高性能的要求,主控芯片STM32L4基于ARM系列Cortex-M4內核,內置集成CAN控制器、USART通信接口等豐富資源。同時,在特征提取頻譜可以調用ST官方匯編DSP庫的應用實現快速傅里葉變換(FFT)與數字濾波器功能。

2.2 光電脈搏傳感器

    光電式脈搏法是借助活體組織毛細血管在血管容積收縮導致透光率改變達到測量脈搏的檢測方法。本系統使用的傳感器包括光源發(fā)射和光電接收,光源一般選用對人體毛細血管中氧和血紅蛋白有選擇吸收的一定波長的發(fā)光二極管。當光束透過血管被反射的光被光敏接收器接收,此時可以測出人體動脈搏動充血容積變化[3]。

    本系統傳感器采用了發(fā)光源峰值波長相近靈敏度高的綠光LED以及光電接收器的SON1303。為了提高信噪比在傳感器后面使用了低通濾波器和運算放大電路,使放大后的信號可以很好地被MCU的AD采集到。

2.3 姿態(tài)檢測傳感器

    姿態(tài)采用由3軸角速度、3軸加速器和內置DMP處理器組成6自由度運動的MPU-6050傳感器,可以測三軸的角速度和加速度。通過IIC接口與MCU通信,使用內置運動處理資料庫實現姿態(tài)解算,降低了運動處理運算對CPU的要求[4]。

    MPU-6050的加速度傳感器設置為±2 g的滿量程范圍,因為加速傳感器的ADC為16位分辨率。同理,設置陀螺儀的滿量程范圍:±2 000°/s,陀螺儀的ADC為16位分辨率,根據姿態(tài)傳感器只能反應人體狀態(tài)而不能檢測突變的情況,通過融合重力加速度、角加速度可以很好解決人體突變時的分析,結構圖如圖2所示。

adas3-t2.gif

3 系統軟件設計

    系統流程圖如圖3所示。系統首先設定脈搏、姿態(tài)傳感器的A/D采樣初始化,然后定時器中斷開始,完成脈搏、姿態(tài)、加速度等狀態(tài)參數采樣,通過調用內置DSP的256點的FFT子函數對所采集的脈搏信號進行頻譜分析;最后,融合加速度、角速度、姿態(tài)角等信息來判定人的疲勞狀態(tài)、分心等不同情緒的狀態(tài)。

adas3-t3.gif

3.1 脈搏的算法設計

    脈搏計算任務周期地采集、濾波、計算心率值。為了避免因采集干擾,采用防脈沖干擾10點平均濾波法進行原始信號預處理。通過采樣設定選用時間序列為X(n),n=0,1,…,N-1脈搏信號,設X(n)的FFT變換為X(ω),再利用FFT計算各頻率段的功率譜為P(ω)。選用調用STM32L4官方提供的DSP庫中的FFT函數,可以高效執(zhí)行計算各頻率段的脈搏信號的幅值譜。程序設計中調用cr4_fft_256_stm32函數,可實現對256個數據點的FFT運算,運算得到各次頻率分量的幅值、實部、虛部等信息將保存在IBufMagArray[i]數組中。上述N=256點快速傅里葉變換adas3-t3-x1.gifk=0,1,…,N-1,然后對各頻率段幅值平方為頻譜能量Si(k)=|Xi(k)|2。

    通過實驗可知99%以上的能量集中在10 Hz之內,利用切比雪夫窗口設計數字濾波器[5]。通過工具箱fdatool獲得數字濾波器系數后在STM32L4運行arm_fir_f32函數,完成數字濾波。

3.2 姿態(tài)的算法設計

    本系統首先建立以人體正前方為Y軸,正左方為X軸,上方為Z軸的坐標系,如圖4所示。

adas3-t4.gif

    四元數和歐拉角的轉換公式[6]

adas3-gs1-2.gif

其中,T為周期,K1為初始時刻的斜率,K2為T時刻后的終點斜率,p(t)為初始時刻的四元數,p(t+T)為T時刻后的四元數。

    姿態(tài)矩陣的實時計算,確定姿態(tài)矩陣CE[8]

adas3-gs3-4.gif

    通過mpu_dmp_get_data函數讀取上述俯仰角、橫滾角、偏航角。

4 系統測試與數據分析

    數據樣本來源于20名駕駛員志愿者,年齡在24-65歲,對采集系統熟悉的情況下進行測試,為了保證樣本可靠性,選取不同時間點、不同狀態(tài)進行分別測試得到姿態(tài)以及脈搏的采樣樣本。

4.1 駕駛員良好狀態(tài)測試與數據分析

    由于實驗者測得脈搏狀態(tài)存在差異,系統初始化完成后進行一次基準值采樣,用于后期判斷的基礎,對基準狀態(tài)下脈搏時域進行FFT變換為各次頻譜、頻譜能量等信息如圖5所示,主峰頻率為1.225 Hz,心率即為73.5次/min。其他主峰都是心率高次頻譜,通過分析第一主峰與其他峰的關系以及各頻譜能量的關系可以得知駕駛員不同狀態(tài)。

adas3-t5.gif

4.2 駕駛員疲勞和分心狀態(tài)測試與數據分析

    汽車行駛過程中,駕駛員會表現出分心、疲勞等狀態(tài),通過疲勞駕駛者測試得到時域脈搏信號,STM32L4的DSP庫FFT變換頻譜幅值和能量如圖6所示,主峰頻率為1.13 Hz,心率即為67.8次/min。通過對比圖5和圖6,得知人在疲勞狀態(tài)時各次頻譜的幅值和頻譜能量呈現下降趨勢,脈搏也呈現下降趨勢。

adas3-t6.gif

4.3 駕駛員緊張狀態(tài)測試與數據分析

    當駕駛員遇到突發(fā)情況,緊急制動或急轉彎,會造成駕駛員的緊張。通過多次實驗可知,查看左右后視鏡等正常生活不會引起加速度和角速度突變,所以本實驗重點對緊張時表現特征如表1所示。

adas3-b1.gif

    對于融合多特征綜合分析,下面具體分析以急剎向前為例。從圖7可以看出,在采樣時間2 s時向前急剎,此時脈搏受到干擾,可以看出Y軸的角速度Gy、X軸加速度Ax以及Z軸加速度Az對于脈搏的影響較大,可以得知第一條主峰頻譜為1.41 Hz,此時人的心率為84.6次/min,第二主峰頻譜2.97 Hz,這個頻譜的能量主要是由于外界提供,此時不能通過數字濾波器將此頻率段濾波,便于后面疲勞以及分心分析。

adas3-t7.gif

4.4 多特征融合分析

    為了避免單一特征造成數據不準確以及突發(fā)情況造成系統的誤判,本文通過融合脈搏、姿態(tài)角加速度、加速度等多特征信息更準確反饋信息。實驗可知正常的人的脈搏60-100次,所以合理的基頻在1-1.67 Hz之間,本文定義基頻為第一主峰符號B,不同狀態(tài),主峰不一致;本文定義頻譜量比為高次頻譜能量能量和與第一主峰的頻譜能量比值K來確定駕駛員的狀態(tài)。具體如表2多特征融合所示。

adas3-b2.gif

4.5 單一特征與多特征融合的對比分析

    為了更加客觀的評價本文中所提出多特征融合的優(yōu)越性,本文設計了對比試驗。為保證測試樣本的多樣性與可靠性,測試時間與測試環(huán)境均為不固定的,總共進行了6組測試,為保證對比試驗產生的誤差最小,將穿戴設備同時分別夾在被試者的左右耳同時進行測試。得到單一脈搏測試與多特征融合測試各為120組,如表3所示。

adas3-b3.gif

    實驗表明,多特征融合的識別駕駛員狀態(tài)時的成功率90.83%比單一脈搏特征信號的識別率62.5%效果更好。

5 結語

    本系統通過實驗表明,采集到脈搏信號進行FFT以及切比雪夫濾波對頻譜的提取,通過頻譜分析可以很好判斷駕駛員疲勞駕駛狀態(tài),同時定義的第一主峰B以及頻譜能量比K可以很好判別駕駛員緊張的狀態(tài),融合姿態(tài)、加速度以及角速度等多特征可以對駕駛員分心、疲勞、緊張情況綜合判斷,通過測試多特征融合判斷比單一特征提高達28%,同時,系統預留無線接口方便與ADAS系統通信,根據駕駛員的不同狀態(tài),輔助駕駛員操作,極大提高行車安全。該系統集成度高、低功耗,便于人體攜帶,且可以應用于普通汽車駕駛者使用,具有應用和推廣價值,便于ADAS技術的實現與推廣。

參考文獻

[1] CHAI R,NAIK G,NGUYEN T N,et al.Driver fatigue classification with independent component by entropy rate bound minimization analysis in an EEG-based system[J].IEEE Journal of Biomedical & Health Informatics,2016(99):1-1.

[2] CRAYE C,RASHWAN A,KAMEL M S,et al.A multimodal driver fatigue and distraction assessment system[J].International Journal of Intelligent Transportation Systems Research,2016(3):1-22.

[3] 高小鵬,龐宇,黎圣峰,等.耳夾式可穿戴體征參數感測裝置的設計[J].電子技術應用,2016,42(12).

[4] 張承岫,李鐵鷹,王耀力,等.基于MPU6050和互補濾波的四旋翼飛控系統設計[J].傳感技術學報,2016,29(7):1011-1015.

[5] 何成.基于多生理信號的情緒識別方法研究[D].杭州:浙江大學,2016.

[6] 葉锃鋒,馮恩信.基于四元數和卡爾曼濾波的兩輪車姿穩(wěn)定方法[J].傳感技術學報,2012,25(4):524-528.

[7] 樊炳輝,張凱麗,王傳江,等.基于四元數的前臂假肢手部自平衡的設計[J].電子技術應用,2016,42(5):78-81.

[8] 何川,李智,王勇軍,等.基于STM32的四旋翼飛行器的姿態(tài)最優(yōu)估計研究[J].電子技術應用,2015,41(12):61-64.



作者信息:

許鵬程,李志斌,黃啟韜,周奕軒,吳文峰

(上海電力學院 自動化工程學院,上海200090)

此內容為AET網站原創(chuàng),未經授權禁止轉載。