0 引言

    據(jù)實(shí)驗(yàn)調(diào)查，有50%的駕駛員承認(rèn)自己曾疲勞駕駛，且疲勞駕駛是導(dǎo)致交通事故的一個(gè)重要因素。如果要減少由于疲勞駕駛導(dǎo)致的事故，可以對(duì)駕駛員在疲勞狀態(tài)時(shí)進(jìn)行一定的警醒。越來(lái)越多的疲勞駕駛預(yù)警系統(tǒng)在國(guó)內(nèi)外被相繼提出^[1]，本文研究的方法——基于圖像處理的監(jiān)測(cè)算法也是其中被廣泛應(yīng)用的一種，這些預(yù)防疲勞駕駛的研究方法對(duì)交通事故的減少有著十分重要的現(xiàn)實(shí)意義。

1 系統(tǒng)結(jié)構(gòu)

    駕駛員一旦出現(xiàn)疲勞狀態(tài)，他們的生理信號(hào)(例如腦電信號(hào)或心電信號(hào))會(huì)產(chǎn)生相應(yīng)的改變，一般情況還會(huì)伴隨眨眼過(guò)快、頻繁打哈欠、點(diǎn)頭、注意力難集中等一系列生理狀態(tài)。這樣就可能會(huì)導(dǎo)致駕駛員在長(zhǎng)時(shí)間不動(dòng)油門或轉(zhuǎn)向盤時(shí)發(fā)生車道偏移等危險(xiǎn)行為^[2]。各種疲勞駕駛預(yù)警系統(tǒng)的研制則是為了能夠第一時(shí)間快速識(shí)別到司機(jī)的疲勞特征信息，且能實(shí)時(shí)產(chǎn)生報(bào)警對(duì)駕駛員進(jìn)行提醒。疲勞駕駛系統(tǒng)的部分組成如圖1所示。首先由傳感器來(lái)采集司機(jī)駕駛時(shí)的各種生理參數(shù)與行為特征等疲勞參數(shù)，再采用信號(hào)處理的方法提取和識(shí)別疲勞參數(shù)值，將識(shí)別后的疲勞特征參數(shù)送入傳感器與多傳感器進(jìn)行信息融合，最后使用疲勞判別準(zhǔn)則對(duì)駕駛狀態(tài)進(jìn)行預(yù)判以及發(fā)出警報(bào)。

2 疲勞駕駛監(jiān)測(cè)系統(tǒng)

    疲勞駕駛監(jiān)測(cè)系統(tǒng)主要由人臉檢測(cè)、面部關(guān)鍵點(diǎn)定位以及疲勞判定這幾個(gè)部分組成，檢測(cè)系統(tǒng)的大體流程圖如圖2所示。通過(guò)處理駕駛員的面部圖像，將駕駛員的生理狀態(tài)轉(zhuǎn)化疲勞狀態(tài)，最后用判定準(zhǔn)則對(duì)駕駛員是否疲勞進(jìn)行判定^[3]。

3 圖像預(yù)處理

    駕駛員實(shí)際駕駛時(shí)，車內(nèi)的光照強(qiáng)度會(huì)隨行車過(guò)程發(fā)生改變，因此提取不同圖像的亮度信息也存在一定偏差。因而對(duì)圖像進(jìn)行預(yù)處理操作十分重要，它可以改善圖像分析的穩(wěn)定性^[4]。本實(shí)驗(yàn)對(duì)圖像預(yù)處理的操作主要是對(duì)圖像進(jìn)行圖像增強(qiáng)和光照補(bǔ)償處理。

3.1 圖像增強(qiáng)

    圖像增強(qiáng)是對(duì)圖像進(jìn)行加工與處理，突顯相應(yīng)被測(cè)區(qū)域，并使無(wú)關(guān)區(qū)域衰減，讓圖像在特定場(chǎng)合實(shí)用性更強(qiáng)。其目的是：(1)提高視覺(jué)效果，使圖像變得更加清晰明了；(2)方便計(jì)算機(jī)處理被測(cè)圖像。作為在圖像處理中非常實(shí)用的工具——形態(tài)學(xué)，它能夠快速識(shí)別圖像中骨格、軀殼以及邊界線等被測(cè)圖像分量^[5]?；静僮饔信蛎浐透g，定義如式(1)、式(2)所示。

    頂帽原理主要是完成原圖對(duì)開運(yùn)算后的減運(yùn)算，顯現(xiàn)了相對(duì)原圖邊界四周明亮的區(qū)域；黑帽原理反之，它顯現(xiàn)了相對(duì)原圖邊界四周昏暗的區(qū)域^[7]。可以將原圖(img)經(jīng)過(guò)頂帽運(yùn)算和黑帽運(yùn)算后的圖像通過(guò)式(7)實(shí)現(xiàn)對(duì)比度提高，以此改善圖像和增強(qiáng)圖像效果。

    利用形態(tài)學(xué)的方法對(duì)原始圖像進(jìn)行圖像增強(qiáng)，效果如圖3所示，實(shí)驗(yàn)表明圖像質(zhì)量被大幅度提高。

3.2 光照補(bǔ)償處理

    光照補(bǔ)償處理主要應(yīng)用在圖像顏色發(fā)生改變(例如照片發(fā)藍(lán)、發(fā)紅、或色偏冷、暖)的情況。一般按照像素的高清順序排列圖像，先用低像素圖像的亮度作為標(biāo)準(zhǔn)白色，并調(diào)節(jié)圖像的R、G、B分量值到255^[8]，將剩下的像素點(diǎn)按照尺度改變進(jìn)行調(diào)節(jié)，以此來(lái)改善因?yàn)楣庹詹痪鸬纳矢淖?。圖4所示即為對(duì)圖像進(jìn)行光照補(bǔ)償后的效果圖。

4 人臉檢測(cè)

    由于傳統(tǒng)SVM統(tǒng)計(jì)方法在背景顏色與膚色比較接近時(shí)難以提取人臉特征，且適用于背景靜止的場(chǎng)合^[9]。考慮到實(shí)驗(yàn)的場(chǎng)合多需要對(duì)人臉的實(shí)時(shí)監(jiān)測(cè)，因此，本文選用AdaBoost算法為人臉檢測(cè)的核心方法。AdaBoost算法實(shí)際上就是將若干個(gè)弱分類算法合并成一種強(qiáng)分類算法的算法^[10]，且每種弱分類器都有本身的分類方向、類Haar特征以及分類閾值。上述由弱分類器組合而成的強(qiáng)分類器以及弱分類本身都設(shè)有本身分類閾值，若累加的權(quán)值到達(dá)強(qiáng)分類器閾值，就說(shuō)明該區(qū)域的強(qiáng)分類器會(huì)被通過(guò)。因此，AdaBoost算法具有很高的識(shí)別率，且算法的擬合性好^[11]。

    多種基于AdaBoost的人臉檢測(cè)的算法的差異性來(lái)源于其弱分類器的不同組織方式。例如級(jí)聯(lián)分類器，它是按照每級(jí)的強(qiáng)分類器都由些許弱分類器構(gòu)成^[11]，這就能夠更加迅速地區(qū)分人臉部位和非人臉部位。圖5所示是人臉檢測(cè)算法的檢測(cè)結(jié)果示意圖，在確定有無(wú)人臉的基礎(chǔ)上進(jìn)一步劃分人臉的大致位置。

    由于級(jí)聯(lián)分類器的高效性，基于AdaBoost的人臉檢測(cè)算法也很容易對(duì)多個(gè)人臉圖像進(jìn)行檢測(cè)。

    圖6為多個(gè)檢測(cè)對(duì)象的人臉檢測(cè)效果圖。在該圖像中存在人臉姿態(tài)、對(duì)比度以及光照程度的區(qū)別。

    從表1可以看出，用AdaBoost算法檢測(cè)人臉在不同光照強(qiáng)度的情況下幾乎未出現(xiàn)誤檢測(cè)效果，準(zhǔn)確性較高，但是人臉檢測(cè)受光照影響也會(huì)出現(xiàn)相應(yīng)的漏檢。隨著加入光照補(bǔ)償，漏檢率會(huì)隨之降低^[12]。

5 人臉關(guān)鍵點(diǎn)定位

    在基于人的生理狀態(tài)來(lái)進(jìn)行疲勞駕駛檢測(cè)的過(guò)程中，人的面部關(guān)鍵點(diǎn)是最能直接體現(xiàn)出人是否疲勞的重要因素。

    基于被約束局部模型的自動(dòng)特征點(diǎn)定位——CLM，首先是將關(guān)鍵點(diǎn)定位問(wèn)題轉(zhuǎn)化為對(duì)函數(shù)求解最優(yōu)解的問(wèn)題，再建立局部模型的一種定位方法^[13]。CLM一般使用SVM來(lái)建立局部模型，它建立的全局形狀模型一般以主成分分析法為主，且將主要的維度參數(shù)化為函數(shù)矩陣，以此來(lái)分析人臉形狀的改變。構(gòu)建的局部模型如式(8)所示。

其中，λ和β為單個(gè)關(guān)鍵點(diǎn)的SVM訓(xùn)練結(jié)果，λ為特征值矩陣，β為一個(gè)列向量。整個(gè)局部模型由組合序列所表示。具體CLM算法的求解過(guò)程如下^[14]：

    (1)大致預(yù)計(jì)初始的關(guān)鍵點(diǎn)區(qū)域；

    (2)快速搜索檢測(cè)到模型的關(guān)鍵點(diǎn)四周區(qū)域，得出SVM響應(yīng)曲線圖；

    (3)用二次函數(shù)來(lái)擬合選中關(guān)鍵點(diǎn)：

其中，A、B、C為常系數(shù)，ε表示偏差。

    (4)利用數(shù)學(xué)方法得出函數(shù)的最優(yōu)解，并得到各個(gè)特征點(diǎn)的位置，完成上述操作后對(duì)模型進(jìn)行更新；

    (5)循環(huán)步驟(2)～(4)，直到達(dá)到設(shè)定的迭代次數(shù)或者函數(shù)呈現(xiàn)收斂的情況。

6 疲勞判定

    由于眼睛閉合狀態(tài)是直觀反映一個(gè)人是否疲勞的重要參數(shù)^[15]，因此本文采用PERCLOS準(zhǔn)則與人眼閉合曲線相結(jié)合的判定方法檢測(cè)疲勞參數(shù)。  

6.1 PERCLOS準(zhǔn)則

    PERCLOS為單位時(shí)間內(nèi)眼睛開閉時(shí)間比，分為P70、P80、EM 3種標(biāo)準(zhǔn)類型^[16]。一般判定多采用P80標(biāo)準(zhǔn)（以眼瞼遮擋瞳孔面積的80%以上為閉合狀態(tài)），其測(cè)量原理如圖7所示。

    若明確在一定時(shí)間內(nèi)司機(jī)眼睛開閉時(shí)間，確定出t₁、t₂、t₃、t₄的參數(shù)值，PERCLOS值就可計(jì)算出來(lái)，計(jì)算方法如式(11)，從而就能夠判定司機(jī)的疲勞狀態(tài)。

其中，f為眼睛閉合時(shí)間比。為了簡(jiǎn)化計(jì)算，一般將時(shí)間比轉(zhuǎn)化為圖像幀數(shù)比，如式(12)所示：

其中，N_c為閉合眼睛幀數(shù)^[17-18]，N_o為張開眼睛幀數(shù)。

6.2 人眼變化曲線法

    瞬目反射是一種快速的閉眼動(dòng)作^[19]，據(jù)統(tǒng)計(jì)，一般人每分鐘瞬目反射大約10～18次，通常2～5 s就要眨眼一次。每一次眨眼要用0.1～0.3 s。人在雙眼凝視或者高度集中注意力時(shí)，就會(huì)減少到4～5次/min。出現(xiàn)疲勞后，人的眨眼頻率則會(huì)變快且每次眨眼所用時(shí)長(zhǎng)變慢。因此可以對(duì)得到的每一幀圖像進(jìn)行人眼信息統(tǒng)計(jì)，可按照人的眨眼頻率判斷司機(jī)疲勞狀態(tài)，本實(shí)驗(yàn)得到人眼變化曲線如圖8所示^[20]。縱坐標(biāo)為人眼相對(duì)大小n值，橫坐標(biāo)為每秒通過(guò)的圖像幀數(shù)。

    其中，人眼開閉狀態(tài)的判定步驟為，在圖像幀中，首先找到人眼區(qū)域中面積的最大值M。后續(xù)其余值順次與最大值M進(jìn)行相比，比值n為人眼的相對(duì)大小值，n的取值范圍在0～1之間，因?yàn)槿嗽陂]眼時(shí)會(huì)預(yù)留一些基本面積，所以n值大于0，本次實(shí)驗(yàn)中標(biāo)定n小于0.28時(shí)為閉眼狀態(tài)的臨界值。

7 檢測(cè)結(jié)果及分析

    通過(guò)攝像頭采集30位測(cè)試者的視頻序列作為數(shù)據(jù)集，包括15位男性和15位女性。采集每位測(cè)試者配戴眼鏡時(shí)和不佩戴眼鏡時(shí)的視頻集。每位測(cè)試者取30張圖像進(jìn)行樣本實(shí)驗(yàn)，采集幀率為30 幀/s，圖像像素為720×360。

    測(cè)試人員戴眼鏡與未戴眼鏡的人臉定位測(cè)試結(jié)果如圖9所示，人臉定位平均耗時(shí)如表2所示，眼部定位準(zhǔn)確率如表3所示。

    從實(shí)驗(yàn)結(jié)果可以得出，在不同壞境的拍攝下配戴眼鏡樣本測(cè)試的識(shí)別率高于未配戴眼鏡樣本。原因主要是配戴眼鏡的樣本由于鏡面反光對(duì)圖像識(shí)別產(chǎn)生了部分干擾，對(duì)睜眼和閉眼狀態(tài)的識(shí)別準(zhǔn)確度有部分偏差^[21]。

    通過(guò)完成圖片預(yù)處理、人臉檢測(cè)以及關(guān)鍵點(diǎn)定位部分的識(shí)別工作，采用多個(gè)測(cè)試樣本在疲勞狀態(tài)和健康狀態(tài)下的數(shù)據(jù)序列計(jì)算相應(yīng)的PERCLOS參數(shù)值，結(jié)合人眼變化曲線圖的n值，得到眨眼頻率，采樣時(shí)間均取60 s，統(tǒng)計(jì)結(jié)果如表4所示。

    本次實(shí)驗(yàn)經(jīng)過(guò)多次多樣本測(cè)量，將檢測(cè)PERCLOS值大于0.25，通過(guò)人眼變化曲線圖得到眨眼頻率大于18次/min為疲勞臨界值^[22]，結(jié)合測(cè)試樣本的實(shí)際狀態(tài)作為對(duì)照，疲勞試驗(yàn)結(jié)果如表5所示，該閾值具有較好的可行性和較高的準(zhǔn)確度。

8 結(jié)束語(yǔ)

    本文使用圖像處理的方法先對(duì)圖像集進(jìn)行一定預(yù)處理，基于AdaBoost算法對(duì)人臉進(jìn)行檢測(cè)，在此基礎(chǔ)上采用基于CLM的人臉關(guān)鍵點(diǎn)定位方法對(duì)樣本進(jìn)行眼睛和嘴巴區(qū)域圖像的提取，最后對(duì)PROLOS參數(shù)值進(jìn)行計(jì)算，結(jié)合參數(shù)結(jié)果和人眼變化曲線圖閾值對(duì)樣本疲勞狀態(tài)進(jìn)行判斷。

    實(shí)驗(yàn)結(jié)果表明，本文方法的檢測(cè)速率可被接受且具有較好的準(zhǔn)確性。針對(duì)不同測(cè)試樣本對(duì)眼睛及嘴部狀態(tài)的識(shí)別準(zhǔn)確性和魯棒性較好。

參考文獻(xiàn)

[1] 李明瑞，傅明，曹敦.基于膚色檢測(cè)的AdaBoost人臉檢測(cè)算法改進(jìn)[J].計(jì)算機(jī)工程，2012，38(19)：147-150.

[2] NOBE S A，WAG F Y.An overview of recent developments in automated lateral and longitudinal vehicle controls[C].Proceedings of IEEE International Conference on Systems，Man，and Cybernetics.Washington D.C.，USA：IEEE Press，2001：3447-3452.

[3] 劉在英，朱琳玲，楊平.基于膚色模型和中線定位的人臉檢測(cè)算法[J].計(jì)算機(jī)工程，2013，39(1)：200-203.

[4] 劉春生，常發(fā)亮，陳振學(xué)，等.改進(jìn)的高斯膚色模型及其在人臉檢測(cè)中的應(yīng)用[J].儀器儀表學(xué)報(bào)，2012，33(5)：1117-1121.

[5] LEE B G，JUNG S J，CHUNG W Y.Realtime physiological and vision monitoring of vehicle driver for non-intrusive drowsiness detection[J].IET Communications，2011，5(17)：2461-2469.

[6] OMIDYEGANEH M，JAVADTALAB A，SHIMOHAMMADI S.Intelligent driver drowsiness detection through fusion of yawning and eye closure[C].Proceedings of IEEE International Conference on Virtual Environments Human Computer Interfaces ＆ Measurement Systems.Ottawa，Canada：IEEE Press，2011：18-23.

[7] 趙文，張意，張衛(wèi)華，等.基于紅外圖像的眼睛開閉檢測(cè)方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2015，36(2)：436-440.

[8] KNIPLING R R，WIERWILLE W W.Vehicle-based drowsy driver detection: current status and future prospects[C].Proceedings of IVHS′94.Atlanta，USA，1994：1-24.

[9] LECUN Y，BOSER B，DENKER J S，et al.Back propagation applied to handwritten zip code recognition[J].Neural Computation，1989，1(4)：541-551.

[10] HENRIQUES J F，CASEIROR，MARTINS P，et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis ＆ Machine Intelligence，2015(3)：583-596.

[11] HENRIQUES J F，RUI C，MARTINS P，et al.Exploiting the circulent structure of tracking-by-detection with kernels[C].Proceedings of ECCV′12.Roma，Italy，2012：702-715.

[12] 鄧健康.基于級(jí)聯(lián)回歸模型的人臉配準(zhǔn)研究[D].南京：南京信息工程大學(xué)，2015.

[13] 吳宇豪，安籽鵬.面向圖像三維重建的無(wú)人機(jī)航線規(guī)劃[J].電子技術(shù)應(yīng)用，2019，45(3)：76-79，87.

[14] CUN Y L，HAN C，WANG C，et al.The application of a convolution neural network on face and license plate detection[C].Proceedings of the 18th International Conference on Pattern Recognition.Washington D.C，USA：IEEE Press，2006：552-555.

[15] ZEILE M D，F(xiàn)ERGUS R.Stochastic pooling for regularization of deep convolutional neural networks[J].Computer Science，2012，7575(1)：702-715.

[16] 連佳佳，王志有，王利斌，等.基于JPEG2000算法的圖像編碼裝置的設(shè)計(jì)[J].電子技術(shù)應(yīng)用，2019，45(3)：46-49.

[17] 吳康華.基于PERCLOS的駕駛疲勞檢測(cè)系統(tǒng)設(shè)計(jì)[D].杭州：浙江大學(xué)，2008.

[18] JAVIE F M.Driver drowsiness warning system using visual information for both diurnal and nocturnal illumination conditions[J].EUASIP Journal on Advances in Signal Processing，2010(1)：1-19.

[19] WANG H，ZHOU L B，YING Y.A novel approach for real time eye state detection in fatigue awareness system[C].Proceedings of International Conference on Robotics Automation and Mechantronics.New YORK，USA：ACM Press，2010：528-532.

[20] 姚勝，李曉華，張衛(wèi)華，等.基于LBP的眼睛開閉檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用研究，2015，32(6)：1897-1901.

[21] 楊晉吉，李榮兵.基于Adaboost與Clifford代數(shù)的人臉檢測(cè)[J].計(jì)算機(jī)工程，2013，9(9)：214-217.

[22] 曠文騰，毛寬誠(chéng)，黃家才，等.基于高斯眼白模型的疲勞駕駛檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào)，2016，21(11)：1515-1522.

作者信息:

劉朝濤，張雪佼

(重慶交通大學(xué) 機(jī)電與車輛工程學(xué)院，重慶400074)