文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.174841
中文引用格式: 喬瑞萍,孫賀,董員臣,等. 基于多特征融合的井蓋檢測(cè)系統(tǒng)實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用,2018,44(6):44-47.
英文引用格式: Qiao Ruiping,Sun He,Dong Yuanchen,et al. Implementation of manhole cover detection system based on multi-
feature fusion[J]. Application of Electronic Technique,2018,44(6):44-47.
0 引言
井蓋缺失和破損對(duì)正常的行車造成了巨大安全隱患。井蓋檢測(cè)系統(tǒng)對(duì)于智能輔助駕駛具有很高的應(yīng)用價(jià)值。近些年,對(duì)于橢圓檢測(cè)的課題研究,國(guó)內(nèi)外都取得了突出成果,并廣泛應(yīng)用在鋼管數(shù)統(tǒng)計(jì)[1]和表盤識(shí)別[2]場(chǎng)景中。行車記錄儀拍攝與地面存在夾角,圓形井蓋在成像時(shí)豎直方向發(fā)生不同程度的縮放,最終呈現(xiàn)出橢圓狀。據(jù)此,理論上可將路面井蓋的檢測(cè)轉(zhuǎn)換為對(duì)橢圓的檢測(cè),但實(shí)際操作中,一方面由于數(shù)字圖像成像的特殊性,目標(biāo)邊緣往往呈現(xiàn)出鋸齒狀堆積,而非光滑的弧段,如圖1所示,通過(guò)單像素點(diǎn)的提取來(lái)擬合出橢圓,往往由于取點(diǎn)難度大,導(dǎo)致錯(cuò)擬合;另一方面,復(fù)雜的道路場(chǎng)景中,背景變化較快,存在過(guò)多的干擾因素,如噪點(diǎn)以及物體遮擋等造成的弧段不連續(xù)問(wèn)題,單純利用邊緣特征,無(wú)法快速將其從復(fù)雜背景中分離出來(lái)[3-5]。
本方案將從宏觀特征入手,充分考慮方法實(shí)現(xiàn)的實(shí)時(shí)性和準(zhǔn)確性,類比人的認(rèn)知規(guī)律,提出新的井蓋檢測(cè)框架。
1 方案概述
為保障實(shí)時(shí)處理速度,在研究高效算法的基礎(chǔ)上,還需要配套的硬件設(shè)備。如圖2所示,系統(tǒng)主要由3部分組成:攝像頭、主機(jī)板卡、7英寸LCD顯示屏幕。
不同時(shí)刻井蓋的定位雖然可以通過(guò)目標(biāo)跟蹤的方法減少一定的計(jì)算量,但是該方法每次僅在上一幀圖像的極窄區(qū)域內(nèi)進(jìn)行搜索,對(duì)道路中出現(xiàn)的突發(fā)狀況難以做到及時(shí)預(yù)判。全檢測(cè)的方法可以對(duì)每幀圖像的細(xì)節(jié)信息進(jìn)行處理,對(duì)畫面的實(shí)時(shí)變化敏感。
2 硬件系統(tǒng)構(gòu)成
TMS320DM6437是TI公司C6000系列中支持達(dá)芬奇技術(shù)的數(shù)字媒體處理器,工作頻率最高可達(dá)600 MHz,能達(dá)到4 800 MIPS的峰值計(jì)算速度,片上集成了視頻處理子系統(tǒng)VPSS,極大地支持了前端預(yù)處理與后端顯示,減輕DSP核負(fù)擔(dān);支持汽車上用于電子設(shè)備通信的控制器局域網(wǎng)絡(luò)(Controller Area Network,CAN)總線,非常適合車載視頻設(shè)備的開(kāi)發(fā)應(yīng)用。
主機(jī)板卡包括視頻輸入模塊、外圍存儲(chǔ)模塊、視頻輸出模塊、通信接口和電源模塊。
視頻輸入/輸出模塊:前端采用TVP5146視頻解碼芯片,將CCD攝像頭拍攝的畫面進(jìn)行A/D采樣和壓縮編碼;后端通過(guò)編程,實(shí)現(xiàn)多種標(biāo)準(zhǔn)輸出。
外圍存儲(chǔ)模塊:外擴(kuò)了2 GB的DDR2和128 MB的Flash,用于數(shù)據(jù)和程序的存放。
通信接口:通過(guò)JTAG接口對(duì)板卡進(jìn)行調(diào)試,預(yù)留了可以接入汽車的CAN總線接口。
3 核心算法的實(shí)現(xiàn)
本部分主要算法流程如圖3所示。
3.1 感興趣區(qū)域的確定
限定感興趣區(qū)域,可大大提高系統(tǒng)的處理速度[6],通常以車道線作為限定參考。當(dāng)前,車道線的檢測(cè)技術(shù)層出不窮,但在速度和準(zhǔn)確率上仍然難以達(dá)到平衡。另一方面,在超車或轉(zhuǎn)彎,乃至某些無(wú)交通限制的區(qū)域,由于駕駛?cè)说闹饔^操作,車輛已非嚴(yán)格地限制在車道線間。因此,需要關(guān)注如何以車輛本身參考建立一個(gè)統(tǒng)一模式,以應(yīng)對(duì)不同路況,淡化對(duì)車道線信息的依賴。
上邊界限定:圖像上部1/4范圍常為背景天空和樹(shù)木,且與車輛本身距離較遠(yuǎn),為非關(guān)注區(qū)域。
左右邊界限定:在透視模型中,當(dāng)車道線保持平行時(shí),透視圖像中所有車道線的延長(zhǎng)線必交于一點(diǎn)。假設(shè)已通過(guò)相機(jī)標(biāo)定技術(shù)得到了實(shí)際世界坐標(biāo)系和圖像坐標(biāo)的位置對(duì)應(yīng)關(guān)系,那么,便可在圖4(a)的俯視圖中劃定現(xiàn)實(shí)世界中的研究區(qū)域[7]。
d為行車中r時(shí)間內(nèi)可能達(dá)到的左右偏移:
最終,通過(guò)3條相交線段,劃定出如圖4(b)成像圖中的梯形感興趣區(qū)域。針對(duì)不同的場(chǎng)景(車、道路、行車記錄儀廣角和安裝高度),區(qū)域限制略有差別,但都可以通過(guò)其他操作進(jìn)行矯正。
3.2 候選目標(biāo)的確定
連通區(qū)域分析在視覺(jué)跟蹤中的運(yùn)動(dòng)前景目標(biāo)分割與提取、感興趣目標(biāo)區(qū)域提取中有著廣泛應(yīng)用[8]。目標(biāo)往往存在于紋理密集、顏色或灰度突變處,可據(jù)此進(jìn)行連通區(qū)域分割。實(shí)際道路場(chǎng)景中,光影交錯(cuò),僅通過(guò)灰度圖得到的二值化圖像來(lái)進(jìn)行連通區(qū)域的提取,極易造成區(qū)域間粘連,為了獲得較好的效果,常結(jié)合腐蝕和膨脹操作進(jìn)行區(qū)域提取。然而,該操作一定程度弱化了邊緣信息,對(duì)于井蓋,不太關(guān)注內(nèi)部的特征(井蓋表面的紋理),而是關(guān)注更為突出的邊緣信息。同時(shí),以邊緣的連通性取代整個(gè)區(qū)域的運(yùn)算,能有效避免光照不均勻的影響,加上合理的閾值設(shè)置,初期便可以排除一些噪點(diǎn),整體更具魯棒性。
標(biāo)記算法往往因遍歷方式和次數(shù)的不同,存在時(shí)間或效率的差別。兩次遍歷算法,通過(guò)一次遍歷圖像,記錄連續(xù)的團(tuán)和等價(jià)對(duì),進(jìn)而由等價(jià)對(duì)對(duì)圖像進(jìn)行第二次遍歷標(biāo)記,具有比較高的效率(在二值化圖像中,1為目標(biāo),0為背景)。主要步驟如下:
定義結(jié)構(gòu)體
typedef struct Fx
{int val;
int lab;
int flag;
} F;
為便于描述,以F(x,y)代表坐標(biāo)(x,y)處像素的屬性列表;val為二值化值;lab為標(biāo)簽值,用來(lái)記錄連通區(qū)域的索引號(hào);flag為歸屬標(biāo)志,記錄標(biāo)簽間的相鄰位置關(guān)系。
(1)第一次遍歷
當(dāng)F(x,y).val==1:
如果F(x,y)的鄰域中像素值都為0,則賦給F(x,y).lab一個(gè)新的label值:label=label+1,F(xiàn)(x,y).lab=label;
如果F(x,y)的鄰域中有val值為1的像素集合A:
將A中l(wèi)abel最小值賦予給F(x,y).lab,即F(x,y).lab=min A.lab;
用flag記錄A中各個(gè)值(label)之間的同屬關(guān)系,即labelSet[i]={label_m,…,l abel_n},labelSet[i]=flag。
(2)第二次遍歷
訪問(wèn)當(dāng)前F(x,y).val 為1的像素點(diǎn),找到與 F(x,y).lab同屬(具有相同flag)的最小label值,賦予F(x,y).lab;
完成掃描后,圖像中具有相同label值的像素就屬于同一個(gè)連通區(qū)域。
針對(duì)圖1(a)中實(shí)際場(chǎng)景處理的邊緣提取圖,采用連通域區(qū)域標(biāo)記,得到的最小外接矩形,如圖5所示。
該矩形框進(jìn)一步鎖定了候選目標(biāo)的位置。由于原圖像中包含更多的細(xì)節(jié)信息,應(yīng)進(jìn)一步考察原灰度圖像中相應(yīng)位置處的特征。
3.3 多特征的判定
合理地選擇特征,可以有效區(qū)分井蓋與背景,簡(jiǎn)化操作,降低復(fù)雜度。
邊緣特征:井蓋邊緣常呈現(xiàn)較大的弧彎曲,且長(zhǎng)度需大于某一閾值T,才對(duì)整體輪廓提取有貢獻(xiàn)。
灰度特征:人的視覺(jué)往往容易被顏色、灰度、紋理特征突變目標(biāo)吸引。井蓋的灰黑鑄鐵材質(zhì),顏色較周邊路面暗。
對(duì)稱性特征:井蓋在視場(chǎng)下呈現(xiàn)橢圓狀,在水平方向和垂直方向都有嚴(yán)格的對(duì)稱性。以水平方向?qū)ΨQ性判別為例,通過(guò)式(3)來(lái)度量一定區(qū)域內(nèi)目標(biāo)的對(duì)稱性。
其中,f(x,y)為(x,y)處的灰度值;H和W分別為所選區(qū)域的高度和寬度;Gs為對(duì)稱性度量值,Gs越小,對(duì)稱性越明顯,通常閾值設(shè)為0.15。
區(qū)域大小和縱橫比約束:井蓋有固定的大小規(guī)格,這就決定了其在視場(chǎng)中所呈現(xiàn)的區(qū)域面積不可能過(guò)大或過(guò)?。涣硗?,由于拍攝角度所引起的成像畸變,橢圓水平軸較長(zhǎng)于豎直方向的軸長(zhǎng),引入縱橫比約束,以橫豎軸長(zhǎng)比值ratio為度量,并以一定閾值T設(shè)限,用來(lái)排除其他類圓形干擾物,如自行車輪胎。通過(guò)對(duì)多種分辨率的行車記錄儀視頻統(tǒng)計(jì)對(duì)比,在5~30 m范圍內(nèi),T通常在1.8~4.2范圍內(nèi)。
TI公司針對(duì)TMS320DM6437平臺(tái)提供了一個(gè)簡(jiǎn)單的DSP/BIOS實(shí)時(shí)操作系統(tǒng)環(huán)境。在該系統(tǒng)中,可以通過(guò)編寫mini-Driver驅(qū)動(dòng)程序,實(shí)現(xiàn)對(duì)視頻采集/顯示設(shè)備的控制,如圖6所示。為優(yōu)化程序處理,可借助TI公司提供的VLIB和IMGLIB庫(kù)進(jìn)行代碼的輔助編寫。
4 實(shí)驗(yàn)結(jié)果與分析
對(duì)行車記錄儀拍攝的一段時(shí)長(zhǎng)33 s的視頻進(jìn)行測(cè)試分析,共計(jì)823幀圖像,單幀圖像分辨率為720×480。
利用本文方法,在DM6437平臺(tái)上處理,視頻顯示無(wú)卡頓,滿足處理實(shí)時(shí)要求,但在某些場(chǎng)景中,因邊緣信息不完整,連通性削弱,常發(fā)生漏檢,而誤檢多發(fā)生在類圓形的陰影處。對(duì)于宏觀特征區(qū)域連通法,由于晴朗日光下樹(shù)木等物體影子與井蓋灰度相近,當(dāng)難以有效利用閾值將粘連分開(kāi)時(shí),便造成定位偏差,且漏檢較多?;谶吘壍臋E圓擬合,在邊緣提取和車道線檢測(cè)部分消耗了大量時(shí)間,同時(shí)該方法受場(chǎng)景復(fù)雜度影響明顯,不同幀之間的處理時(shí)間差別很大。測(cè)試結(jié)果如表1所示。
部分測(cè)試結(jié)果如圖7和圖8所示。本文方法在其他場(chǎng)景下的檢測(cè)效果如圖9所示。在多數(shù)場(chǎng)景下,該方法均能快速準(zhǔn)確定位出井蓋位置。
5 結(jié)論
本文采用一種多特征融合的方法,對(duì)車輛前方井蓋進(jìn)行檢測(cè),利用邊緣的連通性,得到目標(biāo)的候選區(qū)域,通過(guò)對(duì)稱性、區(qū)域大小、長(zhǎng)寬比等特征層層篩選,可以很好地進(jìn)行井蓋目標(biāo)的定位。
該方法從宏觀特征出發(fā),避免了細(xì)節(jié)信息處理的耗時(shí),有效地提高了檢測(cè)速率,且具有較高的檢測(cè)準(zhǔn)確率。然而該方法對(duì)邊緣檢測(cè)的依賴性較強(qiáng),可能會(huì)因?yàn)檫吘壧崛〉钠?,造成誤差效應(yīng)的累積。因此,如何尋找更為有效的特征信息,提高算法效率,是將來(lái)研究的重點(diǎn)。
參考文獻(xiàn)
[1] 彭正濤.基于快速類圓中心定位算法的棒材在線計(jì)數(shù)系統(tǒng)的研究和設(shè)計(jì)[D].武漢:武漢科技大學(xué),2012.
[2] 施瀅,夏春華,胡琳娜,等.指針式儀表讀數(shù)的機(jī)器視覺(jué)智能識(shí)別方法[J].傳感器與微系統(tǒng),2017(11):47-49,52.
[3] 吳堯鋒,王文,盧科青,等.邊界聚類橢圓快速檢測(cè)方法[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2016,50(2):346.
[4] MICHELE F,ANDREA P,RITA C.A fast and effective ellipse detector for embedded vision applications[C].Pattern Recognition,2014,47(11):3693-3708.
[5] 胡海鷗,祝建中.基于弧段組合的直接最小二乘橢圓擬合[J].杭州師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,10 (6):556-560.
[6] 趙午峰,喬瑞萍,孫賀.基于TMS320DM6437的車道線檢測(cè)與跟蹤[J].電子技術(shù)應(yīng)用,2017,43(4):17-20.
[7] 劉宏哲,袁家政,鄭永榮.計(jì)算機(jī)視覺(jué)算法與智能車應(yīng)用[M].北京:電子工業(yè)出版社,2015.
[8] Di Zhipeng,He Dongzhi.Forward collision warning system based on vehicle detection and tracking[C].2016 International Conference on Optoelectronics and Image Processing(ICOIP),Warsaw,2016:10-14.
作者信息:
喬瑞萍,孫 賀,董員臣,王 方
(西安交通大學(xué) 電子與信息工程學(xué)院,陜西 西安710049)