摘 要: 提出了一種對(duì)含字符的交通警告標(biāo)志進(jìn)行檢測(cè)和識(shí)別的方法。根據(jù)交通標(biāo)志顏色的分布范圍,以顏色分量為基礎(chǔ)進(jìn)行閾值分割,將圖像中大部分不滿足顏色要求的區(qū)域去掉,借助連通域標(biāo)記、形狀因子來(lái)進(jìn)行交通標(biāo)志的定位。將定位后的交通標(biāo)志,通過(guò)預(yù)處理、字符的旋轉(zhuǎn)矯正和分割,得到人眼可以識(shí)別的字符。通過(guò)歐氏距離匹配法進(jìn)行字符的計(jì)算機(jī)識(shí)別,最終可使計(jì)算機(jī)識(shí)別率達(dá)到75%左右。
關(guān)鍵詞: 歐氏距離;交通警告標(biāo)志;閾值分割;連通域標(biāo)記;形狀因子;匹配法;計(jì)算機(jī)識(shí)別
0 引言
交通標(biāo)志本身數(shù)量眾多,形態(tài)復(fù)雜,而自然場(chǎng)景下存在著光照變化、褪色污損、扭曲變形等情況對(duì)交通標(biāo)志表觀的影響,為自動(dòng)識(shí)別帶來(lái)了很大的挑戰(zhàn)。何耀平等人在分析交通標(biāo)志特征的基礎(chǔ)上,將Adaboost算法與SVM算法融合用于自然場(chǎng)景下的交通標(biāo)志識(shí)別。該方法具有較高的識(shí)別率和較快的識(shí)別速度,在智能汽車系統(tǒng)中具有較高的應(yīng)用價(jià)值[1]。在實(shí)際采集中,圖像不免會(huì)發(fā)生幾何變化或目標(biāo)被部分遮擋,這會(huì)對(duì)識(shí)別帶來(lái)許多困難。史延彥等人研究了基于不變矩和角點(diǎn)特征的目標(biāo)識(shí)別算法,這兩種都具有平移、旋轉(zhuǎn)、尺度不變形的特征。經(jīng)過(guò)分析表明,在一般情況下不變矩可以獲得較高的識(shí)別率,而當(dāng)目標(biāo)被部分遮擋時(shí),角點(diǎn)是一種有效的識(shí)別方法[2]。同樣,交通標(biāo)志會(huì)受自然環(huán)境和時(shí)間的影響,出現(xiàn)許多退化的現(xiàn)象,為解決這一問(wèn)題,丁淑艷等人提出了采用模糊-仿射不變矩直接提取圖像的特征而不需要圖像的清晰化處理的一種新的分類算法,在利用模糊-仿射不變矩提取圖像特征的基礎(chǔ)上,采用遞歸正交最小二乘法設(shè)計(jì)了一種新的徑向基概率神經(jīng)網(wǎng)絡(luò)分類器,這種方法不僅具有精簡(jiǎn)的結(jié)果,而且具有較好的分類和推廣性能[3]。在2014年,Andrzej、Ruta等人介紹了一種關(guān)于圖像表示和辨別局部特征選擇的新方法,給出了在一種離散顏色圖像表之上的基于CDT的距離度量,這是一種前向特征選擇技術(shù),高質(zhì)量的辨別標(biāo)志描述符,從基于一對(duì)多相異極大化原則的理想模板中建立。采用這些描述符,使傳統(tǒng)分類器可以與最先進(jìn)的方法相競(jìng)爭(zhēng),處理輸入視頻序列接近于實(shí)時(shí)[4]。
盡管國(guó)內(nèi)外學(xué)者已取得了較多的成果,但是具體針對(duì)含有字符這種警告標(biāo)志進(jìn)行檢測(cè)和計(jì)算機(jī)識(shí)別的研究較少,因而,研究適合此類交通標(biāo)志的識(shí)別算法是有價(jià)值的。
1 交通標(biāo)志的檢測(cè)
本文研究的是對(duì)含有字符這種警告標(biāo)志進(jìn)行檢測(cè)和計(jì)算機(jī)識(shí)別,此類交通標(biāo)志的顏色有鮮明的特證:圓形紅色外框,內(nèi)為白色,中間是黑色字符。典型交通標(biāo)志如圖1所示,可以先根據(jù)顏色找到圖像中感興趣的區(qū)域。
不妨假設(shè)所提取的像素中紅綠藍(lán)的每個(gè)灰度值分別為Ur、Ug、Ub,再求出各個(gè)分量所占顏色的百分比Kr=Ur/(Ur+Ug+Ub),Kg=Ug/(Ur+Ug+Ub),Kb=Ub/(Ur+Ug+Ub)
例如判斷是否為紅色,再根據(jù)如下方法進(jìn)行判斷:
(1)若Ur+Ug+Ub>T,則進(jìn)入下一步,否則將像素點(diǎn)設(shè)為黑色。
(2)若Kr<Tr,則進(jìn)入下一步,否則將像素點(diǎn)設(shè)為白色。
(3)求出紅色分量百分比到藍(lán)色分量百分比和綠色分量百分比的距離H1=|Kr-Kb|,H2=|Kr-Kg|,再根據(jù)H1與T1、H2與T2的關(guān)系來(lái)判定(也可以根據(jù)需要再對(duì)Kb和Kg設(shè)定閾值進(jìn)行分析)。如滿足關(guān)系則將像素點(diǎn)設(shè)為白色,否則將像素點(diǎn)設(shè)為黑色[5]。
其中,T、Tr都是設(shè)置的閾值,選擇的方法可以根據(jù)不同需求和反復(fù)實(shí)驗(yàn)的經(jīng)驗(yàn)試定。
下面對(duì)圖1中的限速標(biāo)志按照上述的方法進(jìn)行紅色分量的閾值劃分。(1)設(shè)置閾值T為75,保證像素的亮度達(dá)到一定的要求。(2)分別求出R、G、B三個(gè)分量的百分比Kr、Kb、Kg,不妨設(shè)閾值Tr為0.5,如果大于這個(gè)閾值,則表明像素滿足要求,設(shè)為白色,如果不滿足要求,即可能是紅色也可能不是,就需要進(jìn)入步驟(3)進(jìn)行討論。(3)首先要求R分量的百分比不能太小,這里設(shè)為0.4,其次G和B分量的比重差距也不能太大,否則顏色看上去會(huì)偏重于黃色或者紫色,所以通常會(huì)使用Kb<2×Kg,Kg<2×Kb;另外根據(jù)反復(fù)實(shí)驗(yàn)又增加了一個(gè)附加條件Kr-Kg>0.1。綜上所述,步驟(3)的整體條件是Kr>0.4&&2×Kg>Kb&&2×Kb>Kg&&(Kr-Kg)>0.1若滿足,則符合要求置為白色,否則為黑色。
對(duì)圖1不同條件處理的效果如圖2所示。
通過(guò)圖2(a)可以看到,僅僅通過(guò)比較高的紅色分量判別會(huì)除去許多符合條件的紅色像素;圖2(b)可以達(dá)到較好的效果。
通過(guò)圖2(b)可以看到,圖像中存在很多噪聲點(diǎn),通過(guò)圖像形態(tài)學(xué)腐蝕、膨脹處理,可以將噪聲點(diǎn)除掉,處理效果如圖3所示。
經(jīng)過(guò)上面幾步處理之后,可以得到交通標(biāo)志的區(qū)域,而將其余的部分除掉,實(shí)現(xiàn)了交通標(biāo)志的檢測(cè)。
2 交通標(biāo)志的定位
交通標(biāo)志的輪廓形狀是交通標(biāo)志的重要信息,對(duì)于交通標(biāo)志的識(shí)別起著決定性作用。交通標(biāo)志的定位過(guò)程即檢測(cè)圓形的過(guò)程,進(jìn)一步尋找感興趣區(qū)域。在進(jìn)行檢測(cè)之前需要先對(duì)圖3所得的二值圖像進(jìn)行填充處理,以得到圓形區(qū)域[6]。
二值圖像的連通域標(biāo)記處理操作就是從白色像素和黑色像素組成的一幅點(diǎn)陣圖像中,將互相鄰接的具有像素值“1”或“0”的像素集合提取出來(lái),并為圖像中不同的連通域填入不等的數(shù)字標(biāo)記,同時(shí)統(tǒng)計(jì)連通域的數(shù)目,每一個(gè)數(shù)字標(biāo)記都代表了一個(gè)區(qū)域[7]。有幾個(gè)連通域就有幾個(gè)白色部分,再通過(guò)形狀因子來(lái)判斷連通域的形狀,記錄圓形部分的標(biāo)記數(shù)就可以確定交通標(biāo)志所在的連通域,因而可以確定交通標(biāo)志所在的位置。
將形狀因子定義為:
C=P2/(4πA)
其中,P表示周長(zhǎng),A表示面積。
在相同面積的條件下,在各種形狀當(dāng)中具有光滑周界的圓形的周長(zhǎng)最短,可稱為是最密集的形狀,圓形的密集度C=1。隨著周界凹凸變化程度的增加,周長(zhǎng)P相應(yīng)增加,C隨之加大。
對(duì)于在幾何上相似的兩個(gè)形狀,雖然它們的大小不同、取向不同或位置不同,但它們有相同的C值。因此C是一個(gè)僅與形狀有關(guān)的特征,常被稱為形狀因子。
另定義:為與第i個(gè)連通域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的長(zhǎng)軸長(zhǎng)度(像素意義下);′S(i)MinorAxisLength′為與第i個(gè)連通域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的短軸長(zhǎng)度(像素意義下);′S(i)Area′為圖像第i個(gè)連通域中像素總個(gè)數(shù)。
當(dāng)滿足條件:
K<1.5&&C>0.8&&C<1.2&&M>150時(shí),可以得到滿足此條件的第i個(gè)連通域即為交通標(biāo)志所在的位置。根據(jù)上述方法可以將圖1中的交通標(biāo)志進(jìn)行定位,如圖4所示。
3 交通標(biāo)志的字符分割
3.1 交通標(biāo)志的預(yù)處理
找到交通標(biāo)志的位置以及提取相應(yīng)位置后,需要對(duì)字符進(jìn)行處理。主要目的是把圖像中紅色的外框和多余的噪聲去掉[8]。圖4中就有樹(shù)蔭的影響,處理后得到的二值圖像如圖5所示。
3.2 字符的矯正
由于拍攝角度或者一些其他原因,有可能導(dǎo)致所取得的圖像中的交通標(biāo)志傾斜[9],如圖6(a)傾斜較為嚴(yán)重,圖6(b)傾斜較為輕微,如果直接對(duì)字符進(jìn)行分割會(huì)出現(xiàn)一些不愿發(fā)生的事情,比如圖像的字符是橫向的,或者帶有原圖一樣的傾斜,而且可能會(huì)包含一些其他字符的信息,這都會(huì)給處理帶來(lái)麻煩。
為避免這些情況的發(fā)生,需要進(jìn)行校正處理,而現(xiàn)在其傾斜多少角度并不知道,需要借助一些方法來(lái)判斷其是否選擇到了合適的位置。在這里,提供一種垂直方向像素累加的直方圖映射的方法,圖7(a)、(b)分別是圖6(a)、(b)在垂直方向上的直方圖。
再對(duì)比一張本身不需要校正的交通標(biāo)志的直方圖如圖8所示。
從圖8可以發(fā)現(xiàn),在直方圖的中間有明顯的空隙,這是因?yàn)閳D像已經(jīng)處理為二值圖像,只有在有字符的地方才為白色,而其余地方為黑色,像素在垂直方向的直方圖累加就是將垂直方向上的像素值進(jìn)行累加,將和值表現(xiàn)出來(lái)的直方圖。
根據(jù)這個(gè)特點(diǎn),每次將為滿足校正條件的圖片進(jìn)行5°的旋轉(zhuǎn),直到其直方圖在中間位置滿足一定的閾值條件;如果旋轉(zhuǎn)一周后都沒(méi)有滿意的結(jié)果,這說(shuō)明圖像不含有兩個(gè)字符的標(biāo)準(zhǔn),或者前面的預(yù)處理做得并不好,有太多的噪聲。由此可以得到圖6(a)、(b)校正后的圖像,如圖9所示。
3.3 字符的切割與歸一化
當(dāng)圖像經(jīng)過(guò)校正后就可以分割圖中的字符,以便進(jìn)行字符的識(shí)別。具體的方法是:根據(jù)連通域的知識(shí),先找到圖中較大的連通域并做好記錄,找到每個(gè)連通域的最左、最右、最上和最下的像素位置,再根據(jù)4個(gè)范圍值分別將標(biāo)記好的連通域按矩形分割下來(lái)就可以了,切割后的字符圖像如圖10所示。
為方便在字符識(shí)別階段的處理,需要將分割下來(lái)的字符圖像進(jìn)行格式上的歸一化,這里將圖像縮小為10×15的像素格式,寬為10,高為15。
4 交通標(biāo)志字符的識(shí)別
各種模式在特征空間的分布狀態(tài)是模式識(shí)別成功與否的重要因素。只有對(duì)這一分布狀態(tài)進(jìn)行分析,才能斷定模式的特征空間描述是否有利于分類,才能決定哪些特征起到主導(dǎo)作用,哪些特征可以忽略,從而進(jìn)行特征的選取。本文采用歐氏距離描述模式在特征空間分布狀態(tài)的測(cè)度[10]。
在n維特征空間中,一個(gè)模式表征為一個(gè)點(diǎn),點(diǎn)a=(a1,a2,…,an)T和點(diǎn)b=(b1,b2,…,bn)T之間的歐氏距離表示為:
統(tǒng)計(jì)歸一化格式后的字符在橫向和縱向共25個(gè)方向上所占像素的個(gè)數(shù),這樣求得4的特征值為[3 4 6 5 5 6 14 15 3 2 1 2 2 3 10 10 5 4 4 5 5 4 3 3 2],向量中共有25個(gè)數(shù)值,其中前10個(gè)為縱向的統(tǒng)計(jì)數(shù)值(從左向右,如3表示在第1列上有3個(gè)點(diǎn)像素值為255),后15個(gè)為橫向的統(tǒng)計(jì)數(shù)值(從下到上,如向量中的第11個(gè)值1表示最下列中有1個(gè)點(diǎn)像素的值為255)。如此,對(duì)于每一個(gè)要識(shí)別的字符都能得到一組特征向量。為了能夠識(shí)別字符是什么,選擇字體為交通標(biāo)志專用的一組數(shù)來(lái)作為標(biāo)準(zhǔn),如圖11所示。
分別求出他們的特征向量作為標(biāo)準(zhǔn),0~9特征向量為:
對(duì)于每個(gè)輸入的字符,分別求出其到0~9的歐氏距離,取距離最小的最為相匹配的字符。
5 算法的測(cè)試
上面介紹了具體的實(shí)施方法,現(xiàn)在對(duì)字符識(shí)別的算法做如下測(cè)試:收集實(shí)際生活中帶有限速標(biāo)志的圖像,然后提取交通標(biāo)志,再對(duì)其中的字符進(jìn)行分割,最后對(duì)每一個(gè)字符進(jìn)行識(shí)別,連續(xù)測(cè)試40幅圖片。圖12為40幅圖片中3幅的識(shí)別結(jié)果示例,識(shí)別情況如表1所示。
通過(guò)測(cè)試可以知道,有些字符的識(shí)別并不正確,分析有幾點(diǎn)原因:
(1)由于設(shè)定的標(biāo)準(zhǔn)字符與實(shí)際交通標(biāo)志上的字符有差異,因此所匹配的字符特征并不一定最準(zhǔn)確。
?。?)在進(jìn)行旋轉(zhuǎn)校正和字符大小歸一化時(shí),圖像要使用插值算法,這樣會(huì)導(dǎo)致一些誤差,而影響到最后的特征提取。
(3)圖片中交通標(biāo)志的位置不一定是正面取景,有可能圖像是偏斜的,這樣分割下來(lái)的字符也存在形變。
6 結(jié)論
對(duì)于交通標(biāo)志識(shí)別這個(gè)課題,本文借鑒了許多已有的技術(shù),主體步驟和大多數(shù)的研究相一致,主要是顏色預(yù)處理、形態(tài)學(xué)濾波、圖像分割、特征提取與識(shí)別。但這里也有一些經(jīng)過(guò)反復(fù)對(duì)比和改進(jìn)而使用的方法。首先,顏色預(yù)處理上,閾值的尋找,由于交通標(biāo)志的顏色有限地分布在一定范圍內(nèi),這樣通過(guò)在模型上的劃分就可以找到。還有,在圓的檢測(cè)上沒(méi)有使用比較一般化的方法,而是受到一些邊界標(biāo)記的啟發(fā),進(jìn)行了檢測(cè)。本文所研究的某一類特定的交通標(biāo)志,基本達(dá)到了要求。
參考文獻(xiàn)
[1] 何耀平,徐麗珍.自然場(chǎng)景下交通標(biāo)志的自動(dòng)識(shí)別算法[J].微計(jì)算機(jī)信息,2010(4):161-163.
[2] 史廷彥,趙書(shū)斌.基于不變矩和角點(diǎn)特征的目標(biāo)識(shí)別[J].指揮控制與仿真,2008,30(2):32-34.
[3] 丁淑艷,宋婀娜,李倫波.退化交通標(biāo)志圖像的RBPNN分類算法研究[J].計(jì)算機(jī)仿真,2010,27(1):281-284.
[4] 羅冰潔.基于顏色與形狀特征的圓形交通標(biāo)志識(shí)別[D].西安:長(zhǎng)安大學(xué),2013.
[5] 齊飛.交通標(biāo)志識(shí)別技術(shù)研究[D].北京:北京交通大學(xué),2013.
[6] 關(guān)學(xué)忠,劉勇智.基于數(shù)字圖像處理的車牌定位及字符分割方法[J].裝備制造,2010(1):143.
[7] 張恒,胡文龍,丁赤飆.基于快速連通域分析的目標(biāo)特征提取算法[J].計(jì)算機(jī)工程與應(yīng)用,2009(29):230-232.
[8] 嚴(yán)筱永,閻浩,沈維燕,等.基于改進(jìn)的Hough變換的圓檢測(cè)[J].金陵科技學(xué)院學(xué)報(bào),2009(1):1462-1465.
[9] 高俊釵,韓冰,王澤民,等.向量空間彩色圖像的Canny邊緣檢測(cè)[J].科學(xué)技術(shù)與工程,2008(3):686-689.
[10] 饒永全,周珩.基于標(biāo)記矯正的目標(biāo)特征提取算法[J].航空兵器,2006(6):37-40.