《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計(jì) > 設(shè)計(jì)應(yīng)用 > 基于Bag-of-Features算法的車輛檢測(cè)研究
基于Bag-of-Features算法的車輛檢測(cè)研究
2016年微型機(jī)與應(yīng)用第1期
梁炳春1,2,孫韶媛1,2,彭寶1,2,趙海濤3
(1.東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院,上海 201620;2.東華大學(xué) 數(shù)字化紡織服裝技術(shù)教育部工程研究中心,上海 201620; 3.華東理工大學(xué) 信息科學(xué)與工程學(xué)院,上海 200237)
摘要: 車輛檢測(cè)已成為交通運(yùn)輸工程(ACC)和先進(jìn)輔助駕駛系統(tǒng)(ADAS)中的核心技術(shù)之一。該算法利用車輛的邊緣特征與BagofFeatures(BoF)模型的融合對(duì)前方運(yùn)動(dòng)車輛進(jìn)行實(shí)時(shí)檢測(cè),主要包含車輛假設(shè)存在區(qū)域生成和假設(shè)區(qū)域驗(yàn)證兩部分。首先,對(duì)圖像進(jìn)行預(yù)處理后利用Sobel邊緣檢測(cè)處理得到車輛假設(shè)存在的區(qū)域;然后,利用BagofFeatures的K最近鄰域算法對(duì)假設(shè)存在區(qū)域進(jìn)行驗(yàn)證。該算法與其他算法最大的區(qū)別在于將邊緣和BagofFeatures相結(jié)合來提高檢測(cè)率。通過對(duì)實(shí)際道路視頻進(jìn)行測(cè)試,結(jié)果表明,該方法能夠?qū)崟r(shí)準(zhǔn)確地檢測(cè)出道路上前方運(yùn)動(dòng)車輛。
Abstract:
Key words :

  摘要車輛檢測(cè)已成為交通運(yùn)輸工程(ACC)和先進(jìn)輔助駕駛系統(tǒng)(ADAS)中的核心技術(shù)之一。該算法利用車輛的邊緣特征與BagofFeatures(BoF)模型的融合對(duì)前方運(yùn)動(dòng)車輛進(jìn)行實(shí)時(shí)檢測(cè),主要包含車輛假設(shè)存在區(qū)域生成和假設(shè)區(qū)域驗(yàn)證兩部分。首先,對(duì)圖像進(jìn)行預(yù)處理后利用Sobel邊緣檢測(cè)處理得到車輛假設(shè)存在的區(qū)域;然后,利用BagofFeatures的K最近鄰域算法對(duì)假設(shè)存在區(qū)域進(jìn)行驗(yàn)證。該算法與其他算法最大的區(qū)別在于將邊緣和BagofFeatures相結(jié)合來提高檢測(cè)率。通過對(duì)實(shí)際道路視頻進(jìn)行測(cè)試,結(jié)果表明,該方法能夠?qū)崟r(shí)準(zhǔn)確地檢測(cè)出道路上前方運(yùn)動(dòng)車輛。

  關(guān)鍵詞Bag-of-Features;Sobel邊緣檢測(cè);車輛檢測(cè);K最近鄰域

0引言

  車輛已成為人們?nèi)粘I钪械谋匦杵贰H欢?,由車輛交通事故所導(dǎo)致的死亡人數(shù)、經(jīng)濟(jì)損失等也都在逐年遞增。因此,研究先進(jìn)的輔助駕駛系統(tǒng)變得越來越有意義,而車輛檢測(cè)作為先進(jìn)輔助駕駛系統(tǒng)中的核心技術(shù)勢(shì)必會(huì)成為近些年來研究的重點(diǎn)。

  近幾年,關(guān)于車輛實(shí)時(shí)檢測(cè)的研究日益增多,其所用方法也多種多樣。如參考文獻(xiàn)[1]基于車輛底部的陰影特征對(duì)車輛進(jìn)行檢測(cè);文獻(xiàn)[2]使用車輛的角點(diǎn)特征進(jìn)行車輛的檢測(cè);文獻(xiàn)[3]中Syed Jahanzeb Hussain Pirzada等人利用Canny邊緣檢測(cè)和BoF特征相結(jié)合對(duì)前方運(yùn)動(dòng)車輛進(jìn)行檢測(cè);文獻(xiàn)[4]中Matthews等人通過檢測(cè)車輛的垂直邊緣,得到了車輛左右邊緣的位置。在圖像處理中通過邊緣檢測(cè)能夠有效地提取出車輛假設(shè)存在的初始區(qū)域,為了在檢測(cè)過程中能有效濾除虛警目標(biāo)提高檢測(cè)的準(zhǔn)確性,從而增加了對(duì)假設(shè)存在區(qū)域進(jìn)行驗(yàn)證的步驟。因此,本文提出了通過Sobel檢測(cè)算子進(jìn)行邊緣檢測(cè)生成車輛假設(shè)存在區(qū)域的方法。但是,僅僅使用邊緣不能夠準(zhǔn)確地實(shí)現(xiàn)較高的檢測(cè)率。所以,增加了驗(yàn)證級(jí)算法,即利用BagofFeatures(BoF)的K最近鄰域算法對(duì)區(qū)域進(jìn)行驗(yàn)證。

1車輛檢測(cè)方法設(shè)計(jì)

  本文提出的算法主要包含兩個(gè)步驟:首先,對(duì)圖像進(jìn)行預(yù)處理后使用Sobel邊緣檢測(cè)提取出車輛假設(shè)存在的區(qū)域;然后,利用BoF的K最近鄰域算法對(duì)假設(shè)區(qū)域進(jìn)行驗(yàn)證以排除虛警目標(biāo),提高車輛檢測(cè)的準(zhǔn)確性。主算法流程如圖1所示?!?/p>

001.jpg

2車輛假設(shè)存在

  邊緣是圖像最基本的特征之一,也是目標(biāo)物體與背景圖像的分界,其包含很多重要的信息,包括方向、形狀、階躍性質(zhì)等[5]。因此,使用Sobel邊緣檢測(cè)算子提取出車輛假設(shè)存在的區(qū)域?qū)μ岣哒麄€(gè)車輛檢測(cè)系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性有很大的作用。

  2.1Sobel邊緣檢測(cè)算子

  邊緣作為物體的一個(gè)重要特征,攜帶了圖像中目標(biāo)物體的大量重要信息,因此邊緣檢測(cè)在圖像處理中的目標(biāo)檢測(cè)和識(shí)別領(lǐng)域具有重要的研究?jī)r(jià)值。邊緣檢測(cè)算子主要包含Canny算子、Robert算子、Prewitt算子和Sobel算子等[6]。其中Sobel算子憑借其算法簡(jiǎn)單、計(jì)算量小、速度快等優(yōu)勢(shì)得到了廣泛的應(yīng)用。所以,本文選用Sobel檢測(cè)算子對(duì)車輛邊緣進(jìn)行檢測(cè)。

  Sobel算子的基本原理是利用水平模板和垂直模板對(duì)一些離散的數(shù)據(jù)(圖像)進(jìn)行鄰域平均或加權(quán)平均運(yùn)算,從而檢測(cè)出圖像的邊緣點(diǎn)。Sobel算子模板如圖2所示,包含兩組3×3的矩陣,分別為橫向及縱向。將其與圖像作平面卷積運(yùn)算,即可分別得出橫向和縱向的亮度差分近似值。其公式如式(1):

  1.png

  其中,A為原始圖像;Gx和Gy分別代表經(jīng)縱向和橫向邊緣檢測(cè)的圖像。

  

002.jpg

  圖像的每一個(gè)像素的梯度值可以由橫向及縱向梯度近似值結(jié)合式(2)計(jì)算:

  3.png

  梯度方向可由式(3)計(jì)算得到:

  %O9WYWGP(S2[FEK1{SZ`QE8.png

  經(jīng)過Sobel算子對(duì)圖像進(jìn)行邊緣檢測(cè)處理后的結(jié)果如圖3(b)所示。

 

003.jpg

  2.2車輛假設(shè)存在區(qū)域的提取

  為了提高整個(gè)檢測(cè)過程的實(shí)時(shí)性,該方法先提取出感興趣區(qū)域(ROI)。ROI區(qū)域的生成首先是將灰度化的圖像經(jīng)過Sobel邊緣檢測(cè)后,根據(jù)視覺上近大遠(yuǎn)小的客觀規(guī)律,獲知圖像相應(yīng)區(qū)域的車輛高度等參數(shù)的先驗(yàn)知識(shí);再由地面的視野最遠(yuǎn)點(diǎn)出發(fā),縮小車輛的搜索范圍,框定地面部分類似梯形的車輛搜索區(qū)域,大大減少了外界其他復(fù)雜紋理的干擾,得到車輛假設(shè)存在的區(qū)域。提取出的假設(shè)區(qū)域結(jié)果用白色矩形方框標(biāo)記出來,如圖4所示。

  

004.jpg

3假設(shè)存在區(qū)域的驗(yàn)證

  本文使用的車輛檢測(cè)方法對(duì)車輛假設(shè)存在區(qū)域的驗(yàn)證十分重要,它能有效濾除虛警目標(biāo)以提高檢測(cè)的準(zhǔn)確性。BoF算法是目標(biāo)檢測(cè)中運(yùn)用比較廣泛的技術(shù)之一,因此本文使用BoF算法對(duì)假設(shè)區(qū)域進(jìn)行驗(yàn)證,其算法框架如圖5所示[7]。

  

005.jpg

  3.1Bag-of-Features算法概述

  Bag-of-Features (BoF) 的算法思想來源于Bag-of-Words模型,該模型是文本檢索領(lǐng)域中最為重要的模型之一,其基本原理是把一個(gè)文本視為包含詞匯表中若干單詞的詞袋。同理,在圖像處理領(lǐng)域中,也可將一幀幀數(shù)字圖像視為由若干視覺單詞(Visual words)構(gòu)成。如圖6所示將一張紋理圖像看作若干紋元的直方圖。

006.jpg

  3.2假設(shè)區(qū)域的驗(yàn)證

  BoF是一種用于圖像和視頻檢索的算法,該算法對(duì)于不同角度、光照的圖像,基本都能在圖像庫(kù)中正確檢索,并且在目標(biāo)識(shí)別領(lǐng)域中表現(xiàn)出優(yōu)越的性能。使用BoF算法進(jìn)行假設(shè)區(qū)域驗(yàn)證主要包含三個(gè)步驟:特征提取、構(gòu)建圖像碼書以及分類器設(shè)計(jì)。

  3.2.1特征提取

  特征提取有三種常用方法:密集采樣、隨機(jī)提取、基于特征點(diǎn)的塊提取方法[8]。根據(jù)以上三種方法的優(yōu)缺點(diǎn),本文采用基于特征點(diǎn)的塊提取方法中的Harris角點(diǎn)檢測(cè)從圖像中提取特征點(diǎn)。Harris是對(duì)Moravec角點(diǎn)檢測(cè)算子的擴(kuò)展。Moravec角點(diǎn)檢測(cè)算法的缺點(diǎn)主要是不能準(zhǔn)確找出全部角點(diǎn),沒有對(duì)圖像進(jìn)行降噪處理,因此其響應(yīng)對(duì)噪聲敏感,尤其是對(duì)邊緣響應(yīng)很敏感。而Harris算法受信號(hào)處理中自相關(guān)函數(shù)的啟發(fā),給出了與自相關(guān)函數(shù)聯(lián)系的矩陣M。M陣的特征值是自相關(guān)函數(shù)的一階曲率,如果在圖像中某點(diǎn)的行列曲率值都高,則認(rèn)為該點(diǎn)是特征點(diǎn)。Harris算法的表達(dá)式為:

  4.png

  其中,gx、gy分別是x、y方向上的梯度,G(s~)為高斯模板。

  Harris算法的響應(yīng)函數(shù)如式(5):

  R=det(M)-κ(trace(M))2(5)

  其中,det(M)、trace(M)分別是矩陣的行列式和跡;κ為常數(shù)。角響應(yīng)函數(shù)值R在角區(qū)域內(nèi)為正值,因此在實(shí)際應(yīng)用中,通過計(jì)算窗口中心點(diǎn)的R值來判斷是否為角點(diǎn),如果大于某一給定的門限值,就認(rèn)為這個(gè)點(diǎn)是角點(diǎn)。然后使用SURF算法對(duì)提取到的特征點(diǎn)進(jìn)行描述。SURF算法對(duì)圖像的局部特征具有旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性,對(duì)視角變化、仿射變換、噪聲也保持一定的穩(wěn)定性。

  3.2.2構(gòu)建圖像碼書

  由于每張圖像的SURF特征點(diǎn)數(shù)量不一,所以將圖像用SURF描述符表示后,不能直接用于機(jī)器學(xué)習(xí)的分類中,需要通過BoF對(duì)其進(jìn)行進(jìn)一步的變換。在提取出所有車輛訓(xùn)練圖像的SURF特征向量后,用KMeans聚類算法對(duì)特征向量進(jìn)行聚類,生成視覺詞匯表。對(duì)特征向量進(jìn)行KMeans聚類后特征向量被分成K類,每個(gè)類的中心即一個(gè)視覺單詞,并對(duì)特征向量賦予它們所在簇的索引值,有多少個(gè)簇視覺詞匯表中就有多少個(gè)視覺單詞。

  視覺詞匯表的生成主要受特征點(diǎn)的個(gè)數(shù)、特征描述符的維數(shù)、視覺詞匯表的大小即K的影響。特征點(diǎn)個(gè)數(shù)越多,則視覺單詞越精確,可以通過增加訓(xùn)練圖片的數(shù)量來達(dá)到這個(gè)目的。增加視覺詞匯表的容量K,可以更精確地描述圖像,提高分類的效果,但視覺詞匯表的容量K也不宜取過大,否則會(huì)因?yàn)橛?xùn)練圖像特征點(diǎn)數(shù)的不足造成過匹配。本文實(shí)驗(yàn)中經(jīng)過比較多次實(shí)驗(yàn)結(jié)果得出取K為500的效果較好。

  構(gòu)建完視覺詞匯表后,就可以用視覺單詞的直方圖來表示車輛圖像了。首先提取車輛圖像的SURF特征向量集,再計(jì)算SURF特征向量與視覺詞匯表中的視覺單詞的距離,得到SURF特征向量所屬的簇,從而建立車輛圖像的視覺單詞直方圖,即BoF描述向量,把此向量歸一化后即可作為支持向量機(jī)的輸入向量。

  3.2.3分類器設(shè)計(jì)

  車輛識(shí)別就是實(shí)現(xiàn)圖像或視頻中車輛的分類識(shí)別,BoF算法可以充分提取圖像的特征,實(shí)現(xiàn)車輛的有效識(shí)別。目前常用的分類器有神經(jīng)網(wǎng)絡(luò)、Bayes分類器、支持向量機(jī)(SVM)等,其中SVM作為一種可訓(xùn)練的機(jī)器學(xué)習(xí)方法,建立在結(jié)構(gòu)風(fēng)險(xiǎn)最小和統(tǒng)計(jì)學(xué)習(xí)原理上。SVM在解決小樣本、非線性和高維模式識(shí)別問題時(shí)表現(xiàn)出特有的優(yōu)點(diǎn),在很大程度上克服了“維數(shù)災(zāi)難”等問題且具有較好的魯棒性[9]。

  如圖5所示,車輛識(shí)別的過程主要包括車輛圖像的表示與分類器的識(shí)別。按前文所述的方法得到車輛圖像的BoF描述向量后,就可以對(duì)SVM進(jìn)行訓(xùn)練和對(duì)車輛進(jìn)行識(shí)別了。

4實(shí)驗(yàn)結(jié)果分析

  該算法在Intel i52400 CPU @310 GHz、8 GB內(nèi)存,Windows7操作系統(tǒng)的計(jì)算機(jī)上運(yùn)行,調(diào)用MATLAB函數(shù)進(jìn)行處理。實(shí)驗(yàn)視頻文件是在白天的城郊道路上進(jìn)行采集得到,其圖像分辨率為720×480,車輛不同運(yùn)行時(shí)刻下的檢測(cè)效果如圖7所示,檢測(cè)到的車輛用邊框進(jìn)行標(biāo)記。該算法處理單幀圖像的平均時(shí)間約為40 ms,滿足實(shí)時(shí)檢測(cè)的要求。表1給出了幾種不同算法的性能對(duì)照,從表中可以看出,本文算法相比其他算法的處理速度具有一定優(yōu)勢(shì),檢測(cè)的準(zhǔn)確率也高于或接近其他算法。綜合各方面因素,本文所提的算法能夠滿足實(shí)時(shí)準(zhǔn)確地檢測(cè)出前方運(yùn)動(dòng)車輛的要求。圖7車輛不同運(yùn)行時(shí)刻下的檢測(cè)結(jié)果圖

5結(jié)論

  本文提出的算法,首先基于邊緣特征提取出車輛可能存在的區(qū)域,然后再用BagofFeature特征對(duì)車輛可能存在的區(qū)域進(jìn)行驗(yàn)證。該算法有效地實(shí)現(xiàn)了白天環(huán)境下前方運(yùn)動(dòng)車輛的實(shí)時(shí)檢測(cè)。使用基于邊緣的方法和BoF算法進(jìn)行驗(yàn)證,消除虛警目標(biāo),兩種方法的結(jié)合能夠很好地對(duì)所有車輛進(jìn)行檢測(cè)并能提升車輛的檢測(cè)速率。實(shí)驗(yàn)結(jié)果表明,該算法具有較高的準(zhǔn)確率,同時(shí)具有較好的實(shí)時(shí)性。然而本文研究中強(qiáng)調(diào)的是晴朗、多云的白天環(huán)境,未來,本研究將考慮更多復(fù)雜多變的環(huán)境條件。

參考文獻(xiàn)

  [1] AYTEKIN B, ALTUG E. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information[J]. IEEE International Conference on

  Systems Man and Cybernetics, 2010,25(4):3650-3656.

 ?。?] JAZAYERI A, CAI H, ZHENG J Y, et al. Vehicle detection and tracking in car video based on motion model[J]. IEEE Trans. Intell. Transp.Syst., 2011,12(2): 583-595.

  [3] PIRZADA S J H, HAQ E U, SHIN H. Single camera vehicle detection using edges and BagofFeatures[J]. Lecture Notes in Electrical Engineering, 2012,114:135143. DOI:10.1007/9789400727922_13.

 ?。?] MATTHEWS N, AN P, CHARNLEY

  D, et al. Vehicle detection and recognition in greyscale imagery[J]. Control Engineering Practice, 1996,4(4):473-479.

  [5] 梁娟.一種基于Sobel圖像邊緣檢測(cè)的改進(jìn)算法 [J] .軟件導(dǎo)刊,2014, 13(12):79-81.

  [6] 何春華,張雪飛,胡迎春.基于改進(jìn)Sobel算子的邊緣檢測(cè)算法的研究 [J].光學(xué)技術(shù),2012, 38(3):323-327.

  [7] 梁曄,于劍,劉宏哲.基于BoF模型的圖像表示方法研究 [J].計(jì)算機(jī)科學(xué),2014,41(2):36-44.

  [8] 王志瑞,閆彩良.圖像特征提取方法的綜述[J].吉首大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,32(5): 43-47.

 ?。?] 何友松,吳煒,陳默,等.基于Bag-of-Features算法的車輛圖像識(shí)別研究 [J].視頻應(yīng)用與工程,2009, 33(12):104-107.


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。