文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.190521
中文引用格式: 劉朝濤,張雪佼. 基于圖像處理的疲勞駕駛預(yù)警研究[J].電子技術(shù)應(yīng)用,2019,45(8):104-108.
英文引用格式: Liu Chaotao,Zhang Xuejiao. Research on fatigue driving warning based on image processing[J]. Application of Electronic Technique,2019,45(8):104-108.
0 引言
據(jù)實(shí)驗(yàn)調(diào)查,有50%的駕駛員承認(rèn)自己曾疲勞駕駛,且疲勞駕駛是導(dǎo)致交通事故的一個(gè)重要因素。如果要減少由于疲勞駕駛導(dǎo)致的事故,可以對(duì)駕駛員在疲勞狀態(tài)時(shí)進(jìn)行一定的警醒。越來(lái)越多的疲勞駕駛預(yù)警系統(tǒng)在國(guó)內(nèi)外被相繼提出[1],本文研究的方法——基于圖像處理的監(jiān)測(cè)算法也是其中被廣泛應(yīng)用的一種,這些預(yù)防疲勞駕駛的研究方法對(duì)交通事故的減少有著十分重要的現(xiàn)實(shí)意義。
1 系統(tǒng)結(jié)構(gòu)
駕駛員一旦出現(xiàn)疲勞狀態(tài),他們的生理信號(hào)(例如腦電信號(hào)或心電信號(hào))會(huì)產(chǎn)生相應(yīng)的改變,一般情況還會(huì)伴隨眨眼過(guò)快、頻繁打哈欠、點(diǎn)頭、注意力難集中等一系列生理狀態(tài)。這樣就可能會(huì)導(dǎo)致駕駛員在長(zhǎng)時(shí)間不動(dòng)油門或轉(zhuǎn)向盤時(shí)發(fā)生車道偏移等危險(xiǎn)行為[2]。各種疲勞駕駛預(yù)警系統(tǒng)的研制則是為了能夠第一時(shí)間快速識(shí)別到司機(jī)的疲勞特征信息,且能實(shí)時(shí)產(chǎn)生報(bào)警對(duì)駕駛員進(jìn)行提醒。疲勞駕駛系統(tǒng)的部分組成如圖1所示。首先由傳感器來(lái)采集司機(jī)駕駛時(shí)的各種生理參數(shù)與行為特征等疲勞參數(shù),再采用信號(hào)處理的方法提取和識(shí)別疲勞參數(shù)值,將識(shí)別后的疲勞特征參數(shù)送入傳感器與多傳感器進(jìn)行信息融合,最后使用疲勞判別準(zhǔn)則對(duì)駕駛狀態(tài)進(jìn)行預(yù)判以及發(fā)出警報(bào)。
2 疲勞駕駛監(jiān)測(cè)系統(tǒng)
疲勞駕駛監(jiān)測(cè)系統(tǒng)主要由人臉檢測(cè)、面部關(guān)鍵點(diǎn)定位以及疲勞判定這幾個(gè)部分組成,檢測(cè)系統(tǒng)的大體流程圖如圖2所示。通過(guò)處理駕駛員的面部圖像,將駕駛員的生理狀態(tài)轉(zhuǎn)化疲勞狀態(tài),最后用判定準(zhǔn)則對(duì)駕駛員是否疲勞進(jìn)行判定[3]。
3 圖像預(yù)處理
駕駛員實(shí)際駕駛時(shí),車內(nèi)的光照強(qiáng)度會(huì)隨行車過(guò)程發(fā)生改變,因此提取不同圖像的亮度信息也存在一定偏差。因而對(duì)圖像進(jìn)行預(yù)處理操作十分重要,它可以改善圖像分析的穩(wěn)定性[4]。本實(shí)驗(yàn)對(duì)圖像預(yù)處理的操作主要是對(duì)圖像進(jìn)行圖像增強(qiáng)和光照補(bǔ)償處理。
3.1 圖像增強(qiáng)
圖像增強(qiáng)是對(duì)圖像進(jìn)行加工與處理,突顯相應(yīng)被測(cè)區(qū)域,并使無(wú)關(guān)區(qū)域衰減,讓圖像在特定場(chǎng)合實(shí)用性更強(qiáng)。其目的是:(1)提高視覺(jué)效果,使圖像變得更加清晰明了;(2)方便計(jì)算機(jī)處理被測(cè)圖像。作為在圖像處理中非常實(shí)用的工具——形態(tài)學(xué),它能夠快速識(shí)別圖像中骨格、軀殼以及邊界線等被測(cè)圖像分量[5]?;静僮饔信蛎浐透g,定義如式(1)、式(2)所示。
頂帽原理主要是完成原圖對(duì)開運(yùn)算后的減運(yùn)算,顯現(xiàn)了相對(duì)原圖邊界四周明亮的區(qū)域;黑帽原理反之,它顯現(xiàn)了相對(duì)原圖邊界四周昏暗的區(qū)域[7]??梢詫⒃瓐D(img)經(jīng)過(guò)頂帽運(yùn)算和黑帽運(yùn)算后的圖像通過(guò)式(7)實(shí)現(xiàn)對(duì)比度提高,以此改善圖像和增強(qiáng)圖像效果。
利用形態(tài)學(xué)的方法對(duì)原始圖像進(jìn)行圖像增強(qiáng),效果如圖3所示,實(shí)驗(yàn)表明圖像質(zhì)量被大幅度提高。
3.2 光照補(bǔ)償處理
光照補(bǔ)償處理主要應(yīng)用在圖像顏色發(fā)生改變(例如照片發(fā)藍(lán)、發(fā)紅、或色偏冷、暖)的情況。一般按照像素的高清順序排列圖像,先用低像素圖像的亮度作為標(biāo)準(zhǔn)白色,并調(diào)節(jié)圖像的R、G、B分量值到255[8],將剩下的像素點(diǎn)按照尺度改變進(jìn)行調(diào)節(jié),以此來(lái)改善因?yàn)楣庹詹痪鸬纳矢淖儭D4所示即為對(duì)圖像進(jìn)行光照補(bǔ)償后的效果圖。
4 人臉檢測(cè)
由于傳統(tǒng)SVM統(tǒng)計(jì)方法在背景顏色與膚色比較接近時(shí)難以提取人臉特征,且適用于背景靜止的場(chǎng)合[9]??紤]到實(shí)驗(yàn)的場(chǎng)合多需要對(duì)人臉的實(shí)時(shí)監(jiān)測(cè),因此,本文選用AdaBoost算法為人臉檢測(cè)的核心方法。AdaBoost算法實(shí)際上就是將若干個(gè)弱分類算法合并成一種強(qiáng)分類算法的算法[10],且每種弱分類器都有本身的分類方向、類Haar特征以及分類閾值。上述由弱分類器組合而成的強(qiáng)分類器以及弱分類本身都設(shè)有本身分類閾值,若累加的權(quán)值到達(dá)強(qiáng)分類器閾值,就說(shuō)明該區(qū)域的強(qiáng)分類器會(huì)被通過(guò)。因此,AdaBoost算法具有很高的識(shí)別率,且算法的擬合性好[11]。
多種基于AdaBoost的人臉檢測(cè)的算法的差異性來(lái)源于其弱分類器的不同組織方式。例如級(jí)聯(lián)分類器,它是按照每級(jí)的強(qiáng)分類器都由些許弱分類器構(gòu)成[11],這就能夠更加迅速地區(qū)分人臉部位和非人臉部位。圖5所示是人臉檢測(cè)算法的檢測(cè)結(jié)果示意圖,在確定有無(wú)人臉的基礎(chǔ)上進(jìn)一步劃分人臉的大致位置。
由于級(jí)聯(lián)分類器的高效性,基于AdaBoost的人臉檢測(cè)算法也很容易對(duì)多個(gè)人臉圖像進(jìn)行檢測(cè)。
圖6為多個(gè)檢測(cè)對(duì)象的人臉檢測(cè)效果圖。在該圖像中存在人臉姿態(tài)、對(duì)比度以及光照程度的區(qū)別。
從表1可以看出,用AdaBoost算法檢測(cè)人臉在不同光照強(qiáng)度的情況下幾乎未出現(xiàn)誤檢測(cè)效果,準(zhǔn)確性較高,但是人臉檢測(cè)受光照影響也會(huì)出現(xiàn)相應(yīng)的漏檢。隨著加入光照補(bǔ)償,漏檢率會(huì)隨之降低[12]。
5 人臉關(guān)鍵點(diǎn)定位
在基于人的生理狀態(tài)來(lái)進(jìn)行疲勞駕駛檢測(cè)的過(guò)程中,人的面部關(guān)鍵點(diǎn)是最能直接體現(xiàn)出人是否疲勞的重要因素。
基于被約束局部模型的自動(dòng)特征點(diǎn)定位——CLM,首先是將關(guān)鍵點(diǎn)定位問(wèn)題轉(zhuǎn)化為對(duì)函數(shù)求解最優(yōu)解的問(wèn)題,再建立局部模型的一種定位方法[13]。CLM一般使用SVM來(lái)建立局部模型,它建立的全局形狀模型一般以主成分分析法為主,且將主要的維度參數(shù)化為函數(shù)矩陣,以此來(lái)分析人臉形狀的改變。構(gòu)建的局部模型如式(8)所示。
其中,λ和β為單個(gè)關(guān)鍵點(diǎn)的SVM訓(xùn)練結(jié)果,λ為特征值矩陣,β為一個(gè)列向量。整個(gè)局部模型由組合序列所表示。具體CLM算法的求解過(guò)程如下[14]:
(1)大致預(yù)計(jì)初始的關(guān)鍵點(diǎn)區(qū)域;
(2)快速搜索檢測(cè)到模型的關(guān)鍵點(diǎn)四周區(qū)域,得出SVM響應(yīng)曲線圖;
(3)用二次函數(shù)來(lái)擬合選中關(guān)鍵點(diǎn):
其中,A、B、C為常系數(shù),ε表示偏差。
(4)利用數(shù)學(xué)方法得出函數(shù)的最優(yōu)解,并得到各個(gè)特征點(diǎn)的位置,完成上述操作后對(duì)模型進(jìn)行更新;
(5)循環(huán)步驟(2)~(4),直到達(dá)到設(shè)定的迭代次數(shù)或者函數(shù)呈現(xiàn)收斂的情況。
6 疲勞判定
由于眼睛閉合狀態(tài)是直觀反映一個(gè)人是否疲勞的重要參數(shù)[15],因此本文采用PERCLOS準(zhǔn)則與人眼閉合曲線相結(jié)合的判定方法檢測(cè)疲勞參數(shù)。
6.1 PERCLOS準(zhǔn)則
PERCLOS為單位時(shí)間內(nèi)眼睛開閉時(shí)間比,分為P70、P80、EM 3種標(biāo)準(zhǔn)類型[16]。一般判定多采用P80標(biāo)準(zhǔn)(以眼瞼遮擋瞳孔面積的80%以上為閉合狀態(tài)),其測(cè)量原理如圖7所示。
若明確在一定時(shí)間內(nèi)司機(jī)眼睛開閉時(shí)間,確定出t1、t2、t3、t4的參數(shù)值,PERCLOS值就可計(jì)算出來(lái),計(jì)算方法如式(11),從而就能夠判定司機(jī)的疲勞狀態(tài)。
其中,f為眼睛閉合時(shí)間比。為了簡(jiǎn)化計(jì)算,一般將時(shí)間比轉(zhuǎn)化為圖像幀數(shù)比,如式(12)所示:
其中,Nc為閉合眼睛幀數(shù)[17-18],No為張開眼睛幀數(shù)。
6.2 人眼變化曲線法
瞬目反射是一種快速的閉眼動(dòng)作[19],據(jù)統(tǒng)計(jì),一般人每分鐘瞬目反射大約10~18次,通常2~5 s就要眨眼一次。每一次眨眼要用0.1~0.3 s。人在雙眼凝視或者高度集中注意力時(shí),就會(huì)減少到4~5次/min。出現(xiàn)疲勞后,人的眨眼頻率則會(huì)變快且每次眨眼所用時(shí)長(zhǎng)變慢。因此可以對(duì)得到的每一幀圖像進(jìn)行人眼信息統(tǒng)計(jì),可按照人的眨眼頻率判斷司機(jī)疲勞狀態(tài),本實(shí)驗(yàn)得到人眼變化曲線如圖8所示[20]??v坐標(biāo)為人眼相對(duì)大小n值,橫坐標(biāo)為每秒通過(guò)的圖像幀數(shù)。
其中,人眼開閉狀態(tài)的判定步驟為,在圖像幀中,首先找到人眼區(qū)域中面積的最大值M。后續(xù)其余值順次與最大值M進(jìn)行相比,比值n為人眼的相對(duì)大小值,n的取值范圍在0~1之間,因?yàn)槿嗽陂]眼時(shí)會(huì)預(yù)留一些基本面積,所以n值大于0,本次實(shí)驗(yàn)中標(biāo)定n小于0.28時(shí)為閉眼狀態(tài)的臨界值。
7 檢測(cè)結(jié)果及分析
通過(guò)攝像頭采集30位測(cè)試者的視頻序列作為數(shù)據(jù)集,包括15位男性和15位女性。采集每位測(cè)試者配戴眼鏡時(shí)和不佩戴眼鏡時(shí)的視頻集。每位測(cè)試者取30張圖像進(jìn)行樣本實(shí)驗(yàn),采集幀率為30 幀/s,圖像像素為720×360。
測(cè)試人員戴眼鏡與未戴眼鏡的人臉定位測(cè)試結(jié)果如圖9所示,人臉定位平均耗時(shí)如表2所示,眼部定位準(zhǔn)確率如表3所示。
從實(shí)驗(yàn)結(jié)果可以得出,在不同壞境的拍攝下配戴眼鏡樣本測(cè)試的識(shí)別率高于未配戴眼鏡樣本。原因主要是配戴眼鏡的樣本由于鏡面反光對(duì)圖像識(shí)別產(chǎn)生了部分干擾,對(duì)睜眼和閉眼狀態(tài)的識(shí)別準(zhǔn)確度有部分偏差[21]。
通過(guò)完成圖片預(yù)處理、人臉檢測(cè)以及關(guān)鍵點(diǎn)定位部分的識(shí)別工作,采用多個(gè)測(cè)試樣本在疲勞狀態(tài)和健康狀態(tài)下的數(shù)據(jù)序列計(jì)算相應(yīng)的PERCLOS參數(shù)值,結(jié)合人眼變化曲線圖的n值,得到眨眼頻率,采樣時(shí)間均取60 s,統(tǒng)計(jì)結(jié)果如表4所示。
本次實(shí)驗(yàn)經(jīng)過(guò)多次多樣本測(cè)量,將檢測(cè)PERCLOS值大于0.25,通過(guò)人眼變化曲線圖得到眨眼頻率大于18次/min為疲勞臨界值[22],結(jié)合測(cè)試樣本的實(shí)際狀態(tài)作為對(duì)照,疲勞試驗(yàn)結(jié)果如表5所示,該閾值具有較好的可行性和較高的準(zhǔn)確度。
8 結(jié)束語(yǔ)
本文使用圖像處理的方法先對(duì)圖像集進(jìn)行一定預(yù)處理,基于AdaBoost算法對(duì)人臉進(jìn)行檢測(cè),在此基礎(chǔ)上采用基于CLM的人臉關(guān)鍵點(diǎn)定位方法對(duì)樣本進(jìn)行眼睛和嘴巴區(qū)域圖像的提取,最后對(duì)PROLOS參數(shù)值進(jìn)行計(jì)算,結(jié)合參數(shù)結(jié)果和人眼變化曲線圖閾值對(duì)樣本疲勞狀態(tài)進(jìn)行判斷。
實(shí)驗(yàn)結(jié)果表明,本文方法的檢測(cè)速率可被接受且具有較好的準(zhǔn)確性。針對(duì)不同測(cè)試樣本對(duì)眼睛及嘴部狀態(tài)的識(shí)別準(zhǔn)確性和魯棒性較好。
參考文獻(xiàn)
[1] 李明瑞,傅明,曹敦.基于膚色檢測(cè)的AdaBoost人臉檢測(cè)算法改進(jìn)[J].計(jì)算機(jī)工程,2012,38(19):147-150.
[2] NOBE S A,WAG F Y.An overview of recent developments in automated lateral and longitudinal vehicle controls[C].Proceedings of IEEE International Conference on Systems,Man,and Cybernetics.Washington D.C.,USA:IEEE Press,2001:3447-3452.
[3] 劉在英,朱琳玲,楊平.基于膚色模型和中線定位的人臉檢測(cè)算法[J].計(jì)算機(jī)工程,2013,39(1):200-203.
[4] 劉春生,常發(fā)亮,陳振學(xué),等.改進(jìn)的高斯膚色模型及其在人臉檢測(cè)中的應(yīng)用[J].儀器儀表學(xué)報(bào),2012,33(5):1117-1121.
[5] LEE B G,JUNG S J,CHUNG W Y.Realtime physiological and vision monitoring of vehicle driver for non-intrusive drowsiness detection[J].IET Communications,2011,5(17):2461-2469.
[6] OMIDYEGANEH M,JAVADTALAB A,SHIMOHAMMADI S.Intelligent driver drowsiness detection through fusion of yawning and eye closure[C].Proceedings of IEEE International Conference on Virtual Environments Human Computer Interfaces & Measurement Systems.Ottawa,Canada:IEEE Press,2011:18-23.
[7] 趙文,張意,張衛(wèi)華,等.基于紅外圖像的眼睛開閉檢測(cè)方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2015,36(2):436-440.
[8] KNIPLING R R,WIERWILLE W W.Vehicle-based drowsy driver detection: current status and future prospects[C].Proceedings of IVHS′94.Atlanta,USA,1994:1-24.
[9] LECUN Y,BOSER B,DENKER J S,et al.Back propagation applied to handwritten zip code recognition[J].Neural Computation,1989,1(4):541-551.
[10] HENRIQUES J F,CASEIROR,MARTINS P,et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015(3):583-596.
[11] HENRIQUES J F,RUI C,MARTINS P,et al.Exploiting the circulent structure of tracking-by-detection with kernels[C].Proceedings of ECCV′12.Roma,Italy,2012:702-715.
[12] 鄧健康.基于級(jí)聯(lián)回歸模型的人臉配準(zhǔn)研究[D].南京:南京信息工程大學(xué),2015.
[13] 吳宇豪,安籽鵬.面向圖像三維重建的無(wú)人機(jī)航線規(guī)劃[J].電子技術(shù)應(yīng)用,2019,45(3):76-79,87.
[14] CUN Y L,HAN C,WANG C,et al.The application of a convolution neural network on face and license plate detection[C].Proceedings of the 18th International Conference on Pattern Recognition.Washington D.C,USA:IEEE Press,2006:552-555.
[15] ZEILE M D,F(xiàn)ERGUS R.Stochastic pooling for regularization of deep convolutional neural networks[J].Computer Science,2012,7575(1):702-715.
[16] 連佳佳,王志有,王利斌,等.基于JPEG2000算法的圖像編碼裝置的設(shè)計(jì)[J].電子技術(shù)應(yīng)用,2019,45(3):46-49.
[17] 吳康華.基于PERCLOS的駕駛疲勞檢測(cè)系統(tǒng)設(shè)計(jì)[D].杭州:浙江大學(xué),2008.
[18] JAVIE F M.Driver drowsiness warning system using visual information for both diurnal and nocturnal illumination conditions[J].EUASIP Journal on Advances in Signal Processing,2010(1):1-19.
[19] WANG H,ZHOU L B,YING Y.A novel approach for real time eye state detection in fatigue awareness system[C].Proceedings of International Conference on Robotics Automation and Mechantronics.New YORK,USA:ACM Press,2010:528-532.
[20] 姚勝,李曉華,張衛(wèi)華,等.基于LBP的眼睛開閉檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用研究,2015,32(6):1897-1901.
[21] 楊晉吉,李榮兵.基于Adaboost與Clifford代數(shù)的人臉檢測(cè)[J].計(jì)算機(jī)工程,2013,9(9):214-217.
[22] 曠文騰,毛寬誠(chéng),黃家才,等.基于高斯眼白模型的疲勞駕駛檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào),2016,21(11):1515-1522.
作者信息:
劉朝濤,張雪佼
(重慶交通大學(xué) 機(jī)電與車輛工程學(xué)院,重慶400074)