《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 基于多特征融合的井蓋檢測系統(tǒng)實(shí)現(xiàn)
基于多特征融合的井蓋檢測系統(tǒng)實(shí)現(xiàn)
2018年電子技術(shù)應(yīng)用第6期
喬瑞萍,孫 賀,董員臣,王 方
西安交通大學(xué) 電子與信息工程學(xué)院,陜西 西安710049
摘要: 障礙物檢測作為智能輔助駕駛的重要一環(huán),得到了廣泛關(guān)注和研究,其中,井蓋的檢測對后續(xù)的井蓋定位和缺損檢測有著不可替代的作用。從宏觀特征入手,提出一種多特征融合的分類方法,首先利用先驗(yàn)知識劃定梯形區(qū)域限制搜索區(qū)間,進(jìn)而通過邊緣的連通性鎖定候選區(qū)域,并通過多特征判定,快速準(zhǔn)確地從背景中提取出井蓋位置。該方法在TMS320DM6437平臺上進(jìn)行了系統(tǒng)實(shí)現(xiàn),驗(yàn)證了方案的可行性。
中圖分類號: TP391
文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.174841
中文引用格式: 喬瑞萍,孫賀,董員臣,等. 基于多特征融合的井蓋檢測系統(tǒng)實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用,2018,44(6):44-47.
英文引用格式: Qiao Ruiping,Sun He,Dong Yuanchen,et al. Implementation of manhole cover detection system based on multi-
feature fusion[J]. Application of Electronic Technique,2018,44(6):44-47.
Implementation of manhole cover detection system based on multi feature fusion
Qiao Ruiping,Sun He,Dong Yuanchen,Wang Fang
School of Electronic and Information Engineering,Xi′an Jiao Tong University,Xi′an 710049,China
Abstract: Obstacle detection, as an important part of intelligent auxiliary driving, has received extensive attention. Among them, manhole cover detection plays an irreplaceable role in subsequent manhole cover location and defect detection. This paper starts from a macro perspective, and proposes a classification method of multi feature fusion. It sets trapezoidal region as the region of interest with prior knowledge, locks candidate region through the connectivity of edge, and extracts well cover position from the background through multi feature decision quickly and accurately. The method is implemented on the TMS320DM6437 platform, and the feasibility of the scheme is verified.
Key words : macro perspective;multi feature fusion;trapezoidal region;connectivity;TMS320DM6437

0 引言

    井蓋缺失和破損對正常的行車造成了巨大安全隱患。井蓋檢測系統(tǒng)對于智能輔助駕駛具有很高的應(yīng)用價(jià)值。近些年,對于橢圓檢測的課題研究,國內(nèi)外都取得了突出成果,并廣泛應(yīng)用在鋼管數(shù)統(tǒng)計(jì)[1]和表盤識別[2]場景中。行車記錄儀拍攝與地面存在夾角,圓形井蓋在成像時(shí)豎直方向發(fā)生不同程度的縮放,最終呈現(xiàn)出橢圓狀。據(jù)此,理論上可將路面井蓋的檢測轉(zhuǎn)換為對橢圓的檢測,但實(shí)際操作中,一方面由于數(shù)字圖像成像的特殊性,目標(biāo)邊緣往往呈現(xiàn)出鋸齒狀堆積,而非光滑的弧段,如圖1所示,通過單像素點(diǎn)的提取來擬合出橢圓,往往由于取點(diǎn)難度大,導(dǎo)致錯(cuò)擬合;另一方面,復(fù)雜的道路場景中,背景變化較快,存在過多的干擾因素,如噪點(diǎn)以及物體遮擋等造成的弧段不連續(xù)問題,單純利用邊緣特征,無法快速將其從復(fù)雜背景中分離出來[3-5]。

qrs4-t1.gif

    本方案將從宏觀特征入手,充分考慮方法實(shí)現(xiàn)的實(shí)時(shí)性和準(zhǔn)確性,類比人的認(rèn)知規(guī)律,提出新的井蓋檢測框架。

1 方案概述

    為保障實(shí)時(shí)處理速度,在研究高效算法的基礎(chǔ)上,還需要配套的硬件設(shè)備。如圖2所示,系統(tǒng)主要由3部分組成:攝像頭、主機(jī)板卡、7英寸LCD顯示屏幕。

qrs4-t2.gif

    不同時(shí)刻井蓋的定位雖然可以通過目標(biāo)跟蹤的方法減少一定的計(jì)算量,但是該方法每次僅在上一幀圖像的極窄區(qū)域內(nèi)進(jìn)行搜索,對道路中出現(xiàn)的突發(fā)狀況難以做到及時(shí)預(yù)判。全檢測的方法可以對每幀圖像的細(xì)節(jié)信息進(jìn)行處理,對畫面的實(shí)時(shí)變化敏感。

2 硬件系統(tǒng)構(gòu)成

    TMS320DM6437是TI公司C6000系列中支持達(dá)芬奇技術(shù)的數(shù)字媒體處理器,工作頻率最高可達(dá)600 MHz,能達(dá)到4 800 MIPS的峰值計(jì)算速度,片上集成了視頻處理子系統(tǒng)VPSS,極大地支持了前端預(yù)處理與后端顯示,減輕DSP核負(fù)擔(dān);支持汽車上用于電子設(shè)備通信的控制器局域網(wǎng)絡(luò)(Controller Area Network,CAN)總線,非常適合車載視頻設(shè)備的開發(fā)應(yīng)用。

    主機(jī)板卡包括視頻輸入模塊、外圍存儲模塊、視頻輸出模塊、通信接口和電源模塊。

    視頻輸入/輸出模塊:前端采用TVP5146視頻解碼芯片,將CCD攝像頭拍攝的畫面進(jìn)行A/D采樣和壓縮編碼;后端通過編程,實(shí)現(xiàn)多種標(biāo)準(zhǔn)輸出。

    外圍存儲模塊:外擴(kuò)了2 GB的DDR2和128 MB的Flash,用于數(shù)據(jù)和程序的存放。

    通信接口:通過JTAG接口對板卡進(jìn)行調(diào)試,預(yù)留了可以接入汽車的CAN總線接口。

3 核心算法的實(shí)現(xiàn)

    本部分主要算法流程如圖3所示。

qrs4-t3.gif

3.1 感興趣區(qū)域的確定

    限定感興趣區(qū)域,可大大提高系統(tǒng)的處理速度[6],通常以車道線作為限定參考。當(dāng)前,車道線的檢測技術(shù)層出不窮,但在速度和準(zhǔn)確率上仍然難以達(dá)到平衡。另一方面,在超車或轉(zhuǎn)彎,乃至某些無交通限制的區(qū)域,由于駕駛?cè)说闹饔^操作,車輛已非嚴(yán)格地限制在車道線間。因此,需要關(guān)注如何以車輛本身參考建立一個(gè)統(tǒng)一模式,以應(yīng)對不同路況,淡化對車道線信息的依賴。

    上邊界限定:圖像上部1/4范圍常為背景天空和樹木,且與車輛本身距離較遠(yuǎn),為非關(guān)注區(qū)域。

    左右邊界限定:在透視模型中,當(dāng)車道線保持平行時(shí),透視圖像中所有車道線的延長線必交于一點(diǎn)。假設(shè)已通過相機(jī)標(biāo)定技術(shù)得到了實(shí)際世界坐標(biāo)系和圖像坐標(biāo)的位置對應(yīng)關(guān)系,那么,便可在圖4(a)的俯視圖中劃定現(xiàn)實(shí)世界中的研究區(qū)域[7]。

    d為行車中r時(shí)間內(nèi)可能達(dá)到的左右偏移:

qrs4-gs1-2.gif

    最終,通過3條相交線段,劃定出如圖4(b)成像圖中的梯形感興趣區(qū)域。針對不同的場景(車、道路、行車記錄儀廣角和安裝高度),區(qū)域限制略有差別,但都可以通過其他操作進(jìn)行矯正。

qrs4-t4.gif

3.2 候選目標(biāo)的確定

    連通區(qū)域分析在視覺跟蹤中的運(yùn)動前景目標(biāo)分割與提取、感興趣目標(biāo)區(qū)域提取中有著廣泛應(yīng)用[8]。目標(biāo)往往存在于紋理密集、顏色或灰度突變處,可據(jù)此進(jìn)行連通區(qū)域分割。實(shí)際道路場景中,光影交錯(cuò),僅通過灰度圖得到的二值化圖像來進(jìn)行連通區(qū)域的提取,極易造成區(qū)域間粘連,為了獲得較好的效果,常結(jié)合腐蝕和膨脹操作進(jìn)行區(qū)域提取。然而,該操作一定程度弱化了邊緣信息,對于井蓋,不太關(guān)注內(nèi)部的特征(井蓋表面的紋理),而是關(guān)注更為突出的邊緣信息。同時(shí),以邊緣的連通性取代整個(gè)區(qū)域的運(yùn)算,能有效避免光照不均勻的影響,加上合理的閾值設(shè)置,初期便可以排除一些噪點(diǎn),整體更具魯棒性。

    標(biāo)記算法往往因遍歷方式和次數(shù)的不同,存在時(shí)間或效率的差別。兩次遍歷算法,通過一次遍歷圖像,記錄連續(xù)的團(tuán)和等價(jià)對,進(jìn)而由等價(jià)對對圖像進(jìn)行第二次遍歷標(biāo)記,具有比較高的效率(在二值化圖像中,1為目標(biāo),0為背景)。主要步驟如下:

    定義結(jié)構(gòu)體

    typedef struct Fx

     {int val;

    int lab;

       int flag;

       } F;

    為便于描述,以F(x,y)代表坐標(biāo)(x,y)處像素的屬性列表;val為二值化值;lab為標(biāo)簽值,用來記錄連通區(qū)域的索引號;flag為歸屬標(biāo)志,記錄標(biāo)簽間的相鄰位置關(guān)系。

    (1)第一次遍歷

    當(dāng)F(x,y).val==1:

    如果F(x,y)的鄰域中像素值都為0,則賦給F(x,y).lab一個(gè)新的label值:label=label+1,F(xiàn)(x,y).lab=label;

    如果F(x,y)的鄰域中有val值為1的像素集合A:

    將A中l(wèi)abel最小值賦予給F(x,y).lab,即F(x,y).lab=min A.lab;

    用flag記錄A中各個(gè)值(label)之間的同屬關(guān)系,即labelSet[i]={label_m,…,l    abel_n},labelSet[i]=flag。

    (2)第二次遍歷

    訪問當(dāng)前F(x,y).val 為1的像素點(diǎn),找到與 F(x,y).lab同屬(具有相同flag)的最小label值,賦予F(x,y).lab;

    完成掃描后,圖像中具有相同label值的像素就屬于同一個(gè)連通區(qū)域。

    針對圖1(a)中實(shí)際場景處理的邊緣提取圖,采用連通域區(qū)域標(biāo)記,得到的最小外接矩形,如圖5所示。

qrs4-t5.gif

    該矩形框進(jìn)一步鎖定了候選目標(biāo)的位置。由于原圖像中包含更多的細(xì)節(jié)信息,應(yīng)進(jìn)一步考察原灰度圖像中相應(yīng)位置處的特征。

3.3 多特征的判定

    合理地選擇特征,可以有效區(qū)分井蓋與背景,簡化操作,降低復(fù)雜度。

    邊緣特征:井蓋邊緣常呈現(xiàn)較大的弧彎曲,且長度需大于某一閾值T,才對整體輪廓提取有貢獻(xiàn)。

    灰度特征:人的視覺往往容易被顏色、灰度、紋理特征突變目標(biāo)吸引。井蓋的灰黑鑄鐵材質(zhì),顏色較周邊路面暗。

    對稱性特征:井蓋在視場下呈現(xiàn)橢圓狀,在水平方向和垂直方向都有嚴(yán)格的對稱性。以水平方向?qū)ΨQ性判別為例,通過式(3)來度量一定區(qū)域內(nèi)目標(biāo)的對稱性。

    qrs4-gs3.gif

其中,f(x,y)為(x,y)處的灰度值;H和W分別為所選區(qū)域的高度和寬度;Gs為對稱性度量值,Gs越小,對稱性越明顯,通常閾值設(shè)為0.15。

    區(qū)域大小和縱橫比約束:井蓋有固定的大小規(guī)格,這就決定了其在視場中所呈現(xiàn)的區(qū)域面積不可能過大或過??;另外,由于拍攝角度所引起的成像畸變,橢圓水平軸較長于豎直方向的軸長,引入縱橫比約束,以橫豎軸長比值ratio為度量,并以一定閾值T設(shè)限,用來排除其他類圓形干擾物,如自行車輪胎。通過對多種分辨率的行車記錄儀視頻統(tǒng)計(jì)對比,在5~30 m范圍內(nèi),T通常在1.8~4.2范圍內(nèi)。

     qrs4-gs4.gif

    TI公司針對TMS320DM6437平臺提供了一個(gè)簡單的DSP/BIOS實(shí)時(shí)操作系統(tǒng)環(huán)境。在該系統(tǒng)中,可以通過編寫mini-Driver驅(qū)動程序,實(shí)現(xiàn)對視頻采集/顯示設(shè)備的控制,如圖6所示。為優(yōu)化程序處理,可借助TI公司提供的VLIB和IMGLIB庫進(jìn)行代碼的輔助編寫。

qrs4-t6.gif

4 實(shí)驗(yàn)結(jié)果與分析

    對行車記錄儀拍攝的一段時(shí)長33 s的視頻進(jìn)行測試分析,共計(jì)823幀圖像,單幀圖像分辨率為720×480。

    利用本文方法,在DM6437平臺上處理,視頻顯示無卡頓,滿足處理實(shí)時(shí)要求,但在某些場景中,因邊緣信息不完整,連通性削弱,常發(fā)生漏檢,而誤檢多發(fā)生在類圓形的陰影處。對于宏觀特征區(qū)域連通法,由于晴朗日光下樹木等物體影子與井蓋灰度相近,當(dāng)難以有效利用閾值將粘連分開時(shí),便造成定位偏差,且漏檢較多?;谶吘壍臋E圓擬合,在邊緣提取和車道線檢測部分消耗了大量時(shí)間,同時(shí)該方法受場景復(fù)雜度影響明顯,不同幀之間的處理時(shí)間差別很大。測試結(jié)果如表1所示。

qrs4-b1.gif

    部分測試結(jié)果如圖7和圖8所示。本文方法在其他場景下的檢測效果如圖9所示。在多數(shù)場景下,該方法均能快速準(zhǔn)確定位出井蓋位置。

qrs4-t7.gif

qrs4-t8.gif

qrs4-t9.gif

5 結(jié)論

    本文采用一種多特征融合的方法,對車輛前方井蓋進(jìn)行檢測,利用邊緣的連通性,得到目標(biāo)的候選區(qū)域,通過對稱性、區(qū)域大小、長寬比等特征層層篩選,可以很好地進(jìn)行井蓋目標(biāo)的定位。

    該方法從宏觀特征出發(fā),避免了細(xì)節(jié)信息處理的耗時(shí),有效地提高了檢測速率,且具有較高的檢測準(zhǔn)確率。然而該方法對邊緣檢測的依賴性較強(qiáng),可能會因?yàn)檫吘壧崛〉钠?,造成誤差效應(yīng)的累積。因此,如何尋找更為有效的特征信息,提高算法效率,是將來研究的重點(diǎn)。

參考文獻(xiàn)

[1] 彭正濤.基于快速類圓中心定位算法的棒材在線計(jì)數(shù)系統(tǒng)的研究和設(shè)計(jì)[D].武漢:武漢科技大學(xué),2012.

[2] 施瀅,夏春華,胡琳娜,等.指針式儀表讀數(shù)的機(jī)器視覺智能識別方法[J].傳感器與微系統(tǒng),2017(11):47-49,52.

[3] 吳堯鋒,王文,盧科青,等.邊界聚類橢圓快速檢測方法[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2016,50(2):346.

[4] MICHELE F,ANDREA P,RITA C.A fast and effective ellipse detector for embedded vision applications[C].Pattern Recognition,2014,47(11):3693-3708.

[5] 胡海鷗,祝建中.基于弧段組合的直接最小二乘橢圓擬合[J].杭州師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,10 (6):556-560.

[6] 趙午峰,喬瑞萍,孫賀.基于TMS320DM6437的車道線檢測與跟蹤[J].電子技術(shù)應(yīng)用,2017,43(4):17-20.

[7] 劉宏哲,袁家政,鄭永榮.計(jì)算機(jī)視覺算法與智能車應(yīng)用[M].北京:電子工業(yè)出版社,2015.

[8] Di Zhipeng,He Dongzhi.Forward collision warning system based on vehicle detection and tracking[C].2016 International Conference on Optoelectronics and Image Processing(ICOIP),Warsaw,2016:10-14.



作者信息:

喬瑞萍,孫  賀,董員臣,王  方

(西安交通大學(xué) 電子與信息工程學(xué)院,陜西 西安710049)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。