《電子技術(shù)應用》
您所在的位置:首頁 > 測試測量 > 設(shè)計應用 > 基于改進車底陰影提取算法的前方運動車輛實時檢測
基于改進車底陰影提取算法的前方運動車輛實時檢測
2018年電子技術(shù)應用第4期
朱英凱,羅文廣,賓 洋
廣西科技大學 電氣與信息工程學院,廣西 柳州545006
摘要: 道路前方運動車輛檢測是汽車安全輔助駕駛的重要方面,開發(fā)魯棒性強的實時檢測方法是實現(xiàn)主動安全預警的有效途徑?;趩文恳曈X和車道線確定梯形感興趣區(qū)域(Region of Interest,ROI),并根據(jù)車底陰影特征,提出一種變矩形窗口的自適應均值-方差差值法,用于計算車底陰影閾值;進而,提出一種基于車輛尾部寬度模版的橫向遍歷最小均值法,生成車底陰影與路面相交線假設(shè);再利用車底陰影的灰度值特征,對車底陰影線進行驗證,從而檢測出車輛。將上述方法應用于自行開發(fā)的DSP實驗平臺進行驗證,結(jié)果表明,該方法平均計算周期僅38.46 ms,且在不同的交通環(huán)境、天氣情況下均能較好地檢測出車輛,具有較好的實時性和較強的魯棒性。
中圖分類號: TP391.41
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.174365
中文引用格式: 朱英凱,羅文廣,賓洋. 基于改進車底陰影提取算法的前方運動車輛實時檢測[J].電子技術(shù)應用,2018,44(4):86-89,98.
英文引用格式: Zhu Yingkai,Luo Wenguang,Bin Yang. Real-time detection of front moving vehicles based on improved vehicle shadow extraction algorithm[J]. Application of Electronic Technique,2018,44(4):86-89,98.
Real-time detection of front moving vehicles based on improved vehicle shadow extraction algorithm
Zhu Yingkai,Luo Wenguang,Bin Yang
School of Electrical and Information Engineering,Guangxi University of Science and Technology,Liuzhou 545006,China
Abstract: The detection of vehicles on road frontage is the main field of vehicle safety driving assist, and developing real-time testing methods with strong robustness is the effective way to realize the active safety early warning. Based on monocular vision and the vehicle ahead trapezoidal region of interest(ROI) determined by lane lines, a variable rectangular window adaptive mean variance difference method to calculate the threshold of shadows is put forward according to the characteristic of vehicle shadow. And then, based on the ground of trail width template, a horizontal traversing minimum mean method is presented to generate shadows and road intersection hypothesis. At last, the vehicle shadow line is verified by the gray value feature of the car bottom shadow, so as to detect the vehicle. The above methods are applied to the self-developed DSP experimental platform for verification. The results show that the average calculation period of the method is only 38.46 milliseconds, and the vehicle can be detected in different traffic environments and weather conditions. The method has good real-time performance and strong robustness.
Key words : vehicle detection;monocular vision;region of interest;vehicle shadow

0 引言

    基于視頻的前車實時檢測技術(shù),是利用電荷耦合元件(Charge-Coupled Device,CCD)[1]實時采集本車前方車輛在公路上行駛的視頻,然后對圖像進行分析和處理,由此識別出視頻中的車輛。該類研究屬于汽車安全輔助駕駛領(lǐng)域,對減輕駕駛員駕駛壓力及減少交通事故有重要意義。大量文獻[2-7]表明車輛底部陰影特征較為顯著,因此準確識別車底陰影車輛檢測的前提。

    基于車底陰影特征車輛檢測的方法主要有基于模型和基于特征的方法?;谀P偷姆椒ㄍǔJ歉鶕?jù)車輛、場景、光照等先驗知識建立2D或3D陰影模型[3-4],具有較好的適應性,但受建立模型數(shù)量的限制?;谔卣鞯姆椒ㄊ歉鶕?jù)車底陰影的灰度值、紋理、形狀、梯度特征[5-7],將車底陰影與路面分割[6],通過車底陰影檢測確定車輛位置,最終達到車輛位置檢測的目的,但該方法易受光線的影響。

    綜上所述,本文提出一種改進的連續(xù)變矩形窗口的自適應均值-方差差值法,以準確地求出車底陰影閾值;并提出一種基于汽車尾部寬度模版的橫向遍歷最小均值法,生成車底陰影線假設(shè)的方法,以實現(xiàn)實時前車檢測。

1 車輛檢測算法

    車輛檢測算法的實現(xiàn)過程為:確定前車感興趣區(qū)域(ROI);計算出車底陰影閾值,并生成車底陰影線假設(shè);對車底陰影線假設(shè)進行驗證,從而檢測出車輛。

1.1 ROI的選取

    ROI的選取,即預估車輛可能出現(xiàn)在圖像中的范圍。合理的ROI區(qū)域的選取能縮小圖像檢測區(qū)域,提高實時性。研究表明,基于車道線的梯形ROI區(qū)域確定可以減小大量的計算量[8]。本文在車道線可識別的假設(shè)前提下確定梯形ROI區(qū)域[9]。梯形ROI區(qū)域內(nèi)完整地保留了車底陰影信息,減小了算法檢測的區(qū)域,提高了算法的實時性。同時梯形ROI的選取增大了最遠處車輛的識別范圍,相對比固定消失點[10]的三角形ROI方法,減小了車輛漏檢率。

1.2 車底陰影閾值的計算

    圖像中車底陰影在道路上的投影形狀通常近似為矩形[11],因此本文則將車底陰影的形狀視為矩形。經(jīng)大量統(tǒng)計可以得出,車底陰影矩形的寬度與高度的比例大約為5:1[11]。因此選擇寬、高比為5:1的矩形窗口作為遍歷模版,在ROI區(qū)域的所有像素點內(nèi),按由下至上、由左至右的順序進行遍歷,求出車底陰影閾值。變矩形窗口的均值-方差差值自適應閾值計算公式為[12]

     ck5-gs1-3.gif

式中,Th為ROI區(qū)域的閾值;M為矩形窗口遍歷求得的最小灰度平均值;σ為M對應矩形窗口內(nèi)像素點灰度值的標準差;G(u,v)為坐標點(u,v)處像素點的灰度值,遍歷過程中坐標點(u,v)取遍ROI內(nèi)所有像素點,且順序由下至上、由左至右;(um,vm)為M對應像素點坐標;W和H分別為圖像中矩形窗口像素的寬和高;w、h分別為遍歷矩形窗口內(nèi)像素點距其左上角像素點橫、縱像素距離。其中最小單位像素長度為1,下文將長度單位均視為圖像中像素長度單位。

    根據(jù)圖像的透視原理[12],同一物體越遠,在圖像上顯示越小,反之亦然。同理,在圖像中車底陰影同樣具有這一特征。圖1近似給出車底陰影寬度隨著圖像中遠近程度改變而改變的變化規(guī)律[13]。線段AB為車底陰影在本圖像中的真實位置,若車底陰影位置分別位于CD、EF處,則此時的寬度分別為線段CD、EF的長度,近而點ABFE圍成的梯形區(qū)域視為車底陰影所在區(qū)域假設(shè)。由于實時視頻中畫面的變化是連續(xù)的過程,同理車底陰影大小的變化是連續(xù)的,矩形車底陰影的寬度、高度的變化也是連續(xù)的。

ck5-t1.gif

    由上述車底陰影大小的變化規(guī)律可知,使用固定大小的矩形窗口求解車底陰影灰度閾值并不合理,從而提出一種連續(xù)變化的矩形窗口閾值求解方法。圖1中,S為連續(xù)變化的矩形窗口,其在ROI區(qū)域內(nèi)的所有像素點遍歷時,縱軸V方向像素點坐標每上移一個單位像素點時,W的值隨之減小Δw,H的值始終為W的1/5倍;沿橫軸U方向遍歷時,S大小不變。S的寬度W縱向變化率為:

    ck5-gs4.gif

式中,Δw為矩形窗口S的縱向?qū)挾茸兓?,Wmax為梯形ROI下底處矩形窗口S的寬,Wmin為梯形ROI上底處矩形窗口S的寬,HROI為梯形ROI的高(參見圖1)。

    將改進的變矩形窗口自適應車底陰影閾值計算方法與傳統(tǒng)的固定矩形窗口車底陰影閾值計算方法[10]進行比較,通過閾值分割二值圖可以看出,本文改進的變矩形窗口自適應車底陰影閾值計算方法較傳統(tǒng)固定矩形窗口閾值計算方法求得的閾值更為準確。其中,圖2(a)為變矩形窗口自適應車底陰影閾值分割二值圖,圖2(b)、圖2(c)為固定矩形窗口車底陰影閾值分割二值圖。

ck5-t2.gif

1.3 車底陰影檢測

1.3.1 車底陰影線假設(shè)

    車底陰影檢測是通過檢測車底陰影與路面相交線位置,即能確定前方車輛位置。而車底陰影與路面相交線(下文統(tǒng)稱為車底陰影線)通常為水平線段,其長度隨縱軸變化而連續(xù)變化;且車底陰影線上的像素點灰度均值小于閾值Th?;谏鲜鲕嚨钻幱熬€的特征,本文提出一種基于車輛尾部寬度模版的橫向遍歷最小灰度均值法,快速生成車底陰影假設(shè)。圖3為車底陰影線假設(shè)生成過程示意圖?;谲囕v尾部寬度模版,逐行計算出ROI區(qū)域內(nèi)每一行中最小灰度均值:

    ck5-gs5.gif

式中,Mv為最小灰度均值,即當ROI區(qū)域的縱軸坐標值v不變時,以車底陰影線長度為Wv的車輛尾部寬度模版,遍歷第v行上所有像素點,求得第v行處的值;同圖3所述車底陰影大小變化規(guī)律,Wv的值隨著縱軸坐標值變化而變化,縱向變化率同式(4)中的Δw。

ck5-t3.gif

    然后,將計算出的Mv與閾值進行比較,若Mv<Th,則記錄下Mv對應的坐標值(u,v),此時的坐標值即為車底陰影線假設(shè)左頂點坐標,陰影線長度即為該縱軸坐標值v處對應的Wv。若圖3中第v′行求得的Mv′小于Th,則像素點(u′+g,v′)為車底陰影線假設(shè)左頂點坐標,車底陰影線長度為Wv′。由于車底陰影形狀為矩形,因此滿足Mv<Th的車底陰影線不止一條,如圖4所示,ROI區(qū)域內(nèi)產(chǎn)生多條車底陰影線假設(shè)。將車底陰影放大后可統(tǒng)計出生成模版的車底陰影線假設(shè)共有10條(以圖4為例),為準確地檢測車輛,還需對假設(shè)結(jié)果進行驗證,確定出唯一車底陰影線。

ck5-t4.gif

1.3.2 車底陰影線驗證

    由于車底陰影線在車底陰影正下方,因此利用車底陰影特征對車底陰影線假設(shè)進行驗證。已經(jīng)知道車底陰影形狀呈矩形且灰度均值比閾值小,因此,利用寬度為Wv、高度為Hv=Wv/5的驗證矩形窗口Sv,求出車底陰影線假設(shè)處像素點灰度值均值Mean(u,v)。像素點(u,v)為車底陰影線假設(shè)的左頂點坐標位置,同時也是驗證矩形窗口Sv的左下頂點坐標。Mean(u,v)計算公式為:

    ck5-gs6.gif

    車底陰影線驗證按著車底陰影長度Wv由大至小順序依次進行,在驗證過程中一旦有車底陰影線假設(shè)滿足Mean(u,v)<Th,即確定其為唯一車底陰影線,驗證過程結(jié)束。

2 DSP硬件系統(tǒng)及實時算法實現(xiàn)

2.1 DSP硬件系統(tǒng)

    本文選用的DSP為TMS320DM6437,利用其作為搭建視頻采集硬件系統(tǒng)的核心處理器,如圖5所示。

ck5-t5.gif

    圖5中VPFE和VPBE分別為視頻處理子系統(tǒng)(VPSS)的前端和后端。系統(tǒng)利用CCD攝像機采集實時視頻,并將視頻信息傳送給VPFE,VPFE將模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號傳送給DM6437進行車輛位置實時檢測算法處理,最后通過LED顯示。

2.2 實時算法實現(xiàn)

    在離線車輛檢測算法中用時最長的部分為車底陰影閾值計算,經(jīng)實驗驗證對每一幀圖像進行閾值計算實時性較差。由于車輛行駛在公路上,在一定的時間內(nèi)光照情況及路面結(jié)構(gòu)幾乎不變,而這恰好是對車底陰影閾值影響較大的因素。因此,本文假設(shè)在一個單位時間(1 s)內(nèi)車底陰影閾值不變?;诒疚乃惴ǎ岢鲆环N間隔幀數(shù)閾值求解的方法。即在實時視頻中,每間隔相同圖像幀數(shù)求解一次閾值。為了直觀體現(xiàn)間隔幀數(shù)求解閾值的實時效果,分別給出3種不同間隔幀數(shù)情況下DSP實時算法的實時性對比結(jié)果,見表1。

ck5-b1.gif

    由表1可知,間隔30幀時DSP的每秒處理速度達到26幀/s,此速度可以滿足車輛檢測實時性要求,因此本算法選擇間隔的幀數(shù)為30。圖6為運動車輛檢測DSP實時算法程序流程圖,主要步驟包括:RIO區(qū)域選取、閾值計算、車底陰影線假設(shè)、車底陰影線驗證。

ck5-t6.gif

3 檢測結(jié)果分析

    本文實驗所用的視頻來源于行車記錄儀,以2015年9月20日至25日拍攝于海門市人民西路路段、秀山路路段、上海市河南中路延安高架橋隧道等路段的圖像為例。

    圖7是在不同光照及路面環(huán)境下,從DSP實時前車檢測結(jié)果中,隨機抽取的部分結(jié)果圖。本算法可以滿足不同光照、不同路面干擾及多種工況下的車輛檢測。為更加直觀地體現(xiàn)本算法的實時性及準確性,本文參照文獻[9]的方法,分別隨機統(tǒng)計8 000張簡單工況下及復雜工況下視頻圖像檢測結(jié)果。其中簡單工況為光照正常,路面沒有干擾;復雜工況有光照較弱、道路標示干擾、路面陰影干擾等情況。兩種工況下車輛檢測統(tǒng)計結(jié)果如表2所示。

ck5-t7.gif

ck5-b2.gif

4 結(jié)論

    實驗結(jié)果表明:采用變矩形窗口自適應均值-方差差值閾值求解法,可以在不同光照及不同路面環(huán)境下準確、快速地計算出車底陰影閾值;基于車輛尾部寬度模版的逐行最小均值搜索法生成車底陰影線假設(shè),可以大幅度提高算法的實時性,為DSP實時算法的實現(xiàn)提供了有利條件。

    綜上所述,基于改進車底陰影提取算法的前方運動車輛實時檢測技術(shù)實時性好、魯棒性強,在不同的交通環(huán)境、天氣情況下均能較好地檢測出車輛。

參考文獻

[1] 陳蘇婷,楊世洪.基于感興趣區(qū)域的可變頻CCD實時處理系統(tǒng)[J].電子技術(shù)應用,2012,38(1):34-37.

[2] Qu Shiru,Li Xu.Research on multi-feature front vehicle detection algorithm based on video image[C].Chinese Control and Decision Conference(CCDC).IEEE,2016:3831-3835.

[3] COLLADO J M,HILARIO C.Model based vehicle detection for intelligent vehicles[C].IEEE Intelligent Vehicles Symposium(S.l.).IEEE,2004:572-577.

[4] 胡銦,楊靖宇.基于模型的車輛檢測與跟蹤[J].中國圖象圖形學報,2008,13(3):450-455.

[5] SANIN A,SANDERSON C,LOVELL B C.Shadow detection:a survey and comparative evaluation of recent methods[J].Pattern Recognition,2013,45(4):1684-1695.

[6] Jin Lisheng,Gu Baiyuan,Wang Rongben,et al.Preceding vehicle detection based on multi-characteristics fusion[J].IEEE International Conference on Vechicular Electronics and Safety,ICVES 2006,2007:356-360.

[7] YANG M S,LAI C Y,LIN C Y.A robust EM clustering algorithm for Gaussian mixture models[J].Pattern Recognition,2012,45(11):3950-3961.

[8] 齊美彬,潘燕,張銀霞.基于車底陰影的前方運動車輛檢測[J].電子測量與儀器學報,2012,26(1):54-59.

[9] 胡銦.基于單目視覺得運動目標檢測與跟蹤算法研究[D].南京:南京理工大學,2007.

[10] KROEGER T,Dai Dengxin,GOOL L V.Joint vanishing point extraction and tracking[C].IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2015:2449-2457.

[11] 顧柏園.基于單目視覺的安全車距預警系統(tǒng)研究[D].長春:吉林大學,2006.

[12] 楊必武,郭曉松.攝像機鏡頭非線性畸變校正方法綜述[J].中國圖象圖形學報,2005,10(3):269-274.

[13] TSENG S P,F(xiàn)ONG D.A DSP based real-time front car detection driving assistant system[C].SICE Annual Conference,2010:2419-2423.



作者信息:

朱英凱,羅文廣,賓  洋

(廣西科技大學 電氣與信息工程學院,廣西 柳州545006)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。