《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 基于機(jī)器視覺(jué)的鋼軌表面缺陷三維檢測(cè)方法
基于機(jī)器視覺(jué)的鋼軌表面缺陷三維檢測(cè)方法
2015年微型機(jī)與應(yīng)用第19期
王時(shí)麗,劉桂華
(西南科技大學(xué) 信息工程學(xué)院,四川 綿陽(yáng)621010)
摘要: 提出了一種二維視覺(jué)與三維視覺(jué)相結(jié)合的鋼軌表面缺陷檢測(cè)方法。該方法通過(guò)線陣相機(jī)采集二維圖像,由激光掃描儀采集鋼軌深度信息,最后將這兩組數(shù)據(jù)傳送回主機(jī),用Halcon和VC編寫上層圖像處理軟件,獲得鋼軌表面缺陷的大小、形狀、位置及深度,實(shí)現(xiàn)了全面檢測(cè)鋼軌表面缺陷。實(shí)驗(yàn)表明,與二維圖像識(shí)別,或者與單獨(dú)使用三維掃描檢測(cè)相比,本系統(tǒng)檢測(cè)效果更好。
Abstract:
Key words :

  摘  要: 提出了一種二維視覺(jué)三維視覺(jué)相結(jié)合的鋼軌表面缺陷檢測(cè)方法。該方法通過(guò)線陣相機(jī)采集二維圖像,由激光掃描儀采集鋼軌深度信息,最后將這兩組數(shù)據(jù)傳送回主機(jī),用Halcon和VC編寫上層圖像處理軟件,獲得鋼軌表面缺陷的大小、形狀、位置及深度,實(shí)現(xiàn)了全面檢測(cè)鋼軌表面缺陷。實(shí)驗(yàn)表明,與二維圖像識(shí)別,或者與單獨(dú)使用三維掃描檢測(cè)相比,本系統(tǒng)檢測(cè)效果更好。

  關(guān)鍵詞: 二維視覺(jué);三維視覺(jué);激光掃描儀;鋼軌表面缺陷;Halcon

0 引言

  在我國(guó)的交通運(yùn)輸行業(yè)中,鐵路運(yùn)輸發(fā)揮著不可替代的作用。為保證鐵路運(yùn)輸?shù)陌踩?、快速,除了?duì)鋼軌高平直度、高熱處理強(qiáng)度和高精度的要求外,對(duì)鋼軌的表面質(zhì)量也提出了更為嚴(yán)格的要求。而表面缺陷則是衡量鋼軌表面質(zhì)量的一個(gè)重要技術(shù)指標(biāo),也是保證鐵路運(yùn)行安全的重要保障。

  近幾年,世界各國(guó)加強(qiáng)了對(duì)鋼軌表面缺陷檢測(cè)的研究,許多發(fā)達(dá)國(guó)家已自行研制出高速軌檢車,如意大利 MERMEC Group公司開發(fā)的Rail Profile System(RPS)、澳大利亞 SY00970 軌道掃描試驗(yàn)車以及俄羅斯的 BFSM 檢測(cè)系統(tǒng)等,許多學(xué)者對(duì)基于機(jī)器視覺(jué)的表面檢測(cè)技術(shù)也做了深入的研究工作[1-5]。目前,國(guó)內(nèi)常用的鋼軌表面檢測(cè)方法主要有人工目視法、磁場(chǎng)法和電渦流法。但是人工疲勞、環(huán)境惡劣等各方面的因素致使檢測(cè)受到局限,因此需要研發(fā)一個(gè)自動(dòng)檢測(cè)系統(tǒng)來(lái)協(xié)助鐵路部門進(jìn)行檢測(cè)。國(guó)內(nèi)一些學(xué)者如葉蘇茹、徐科、王平等人[6-9]已經(jīng)開始研究將視覺(jué)技術(shù)應(yīng)用于鋼軌表面缺陷檢測(cè),并且取得了一定成果[10-14]。

  但是,以上所述的這些表面檢測(cè)方法主要針對(duì)二維圖像進(jìn)行識(shí)別,無(wú)法給出量化的缺陷深度信息,一些細(xì)小孔洞等難以用二維圖像識(shí)別的方法將其檢測(cè)出來(lái)。另外,根據(jù)大型鋼材生產(chǎn)廠制定的《43 kg/m 75 kg/m鋼軌訂貨技術(shù)條件》知,合格的鋼軌表面不應(yīng)有裂紋,深度超過(guò)0.5 mm或者面積超過(guò)0.5 mm2的氧化鐵皮或者磨痕、折疊等。因此,本文在這些研究成果和檢測(cè)標(biāo)準(zhǔn)的基礎(chǔ)上提出了一種將二維視覺(jué)與三維視覺(jué)相結(jié)合的鋼軌表面檢測(cè)系統(tǒng),該系統(tǒng)能準(zhǔn)確檢測(cè)出鋼軌缺陷的位置、大小及深度,為鋼軌表面缺陷檢測(cè)提供一種成本低、檢測(cè)精度高的快速有效新途徑。

1 硬件設(shè)計(jì)


001.jpg

  設(shè)計(jì)的硬件平臺(tái)系統(tǒng)如圖1所示。該系統(tǒng)主要由數(shù)據(jù)采集系統(tǒng)、運(yùn)動(dòng)控制系統(tǒng)以及計(jì)算機(jī)處理系統(tǒng)三部分組成。

002.jpg

  整個(gè)圖像采集系統(tǒng)如圖2所示。該系統(tǒng)采集的數(shù)據(jù)主要包括鋼軌表面圖像以及鋼軌表面深度數(shù)據(jù)。

  1.1 鋼軌表面圖像采集系統(tǒng)

  該子系統(tǒng)作為圖像采集系統(tǒng)的一部分,主要由光源、相機(jī)與鏡頭組成,負(fù)責(zé)采集鋼軌表面二維圖像。

 ?。?)光源。在計(jì)算機(jī)視覺(jué)系統(tǒng)中,好的光源與照明方案往往是整個(gè)系統(tǒng)成敗的關(guān)鍵。光源與照明方案的配合應(yīng)盡可能地突出物體特征參量,使成像質(zhì)量不受物體位置變化的影響。在綜合考慮鋼軌表面高反光特性、光源照明亮度、均勻度以及幾何形狀等因素后,選用MVLZ公司MVLZ8080-W型號(hào)的大功率LED線型光源(條形光源),照明方案采用“低角度前光照明”。

 ?。?)相機(jī)與鏡頭。目前用于視覺(jué)系統(tǒng)的相機(jī)主要包括線掃描相機(jī)和面掃描相機(jī)兩類??紤]到鋼軌生產(chǎn)線生產(chǎn)速度為1.5 m/s(5.4 km/h),系統(tǒng)精度設(shè)計(jì)為±0.2 mm,拍攝視場(chǎng)為300 mm,可推算出相機(jī)的參數(shù)如下:

 ?、貱CD分辨率

  橫向方向上的像素單元個(gè)數(shù)至少為:300/0.2=1 500。因此,可選擇分辨率為2 048像素的相機(jī),實(shí)際精度為300/2 048=0.14 mm。

  ②CCD線掃描頻率

  若縱向分辨率為0.2 mm,則可得到線陣CCD的水平掃描頻率:HSF=V/R=5.4/0.2=27 kHz。

  綜上所述,系統(tǒng)選用了Basler公司型號(hào)為raL2048-48 gm的線掃描黑白相機(jī)。該相機(jī)最大行頻48 kHz,分辨率為2 048,鏡頭選擇固定焦距50 mm的C口鏡頭。由于相機(jī)本身屬于千兆以太網(wǎng)接口,因此本系統(tǒng)直接通過(guò)網(wǎng)線將采集圖像傳輸回計(jì)算機(jī)而不用圖像采集卡。

  1.2 鋼軌表面深度數(shù)據(jù)采集系統(tǒng)

  由于基于二維圖像的鋼軌表面檢測(cè)方法只能根據(jù)缺陷的二維特征進(jìn)行缺陷識(shí)別和分類,忽略(并且也無(wú)法得到)了鋼軌缺陷最重要的深度信息,容易漏檢面積較小的凹坑、軋疤等缺陷,因此,本文在二維缺陷識(shí)別的基礎(chǔ)上引入激光掃描儀,實(shí)現(xiàn)鋼軌表面深度數(shù)據(jù)的獲取。該激光掃描儀采用LMI的Gocator 2300系列傳感器,z軸精度為0.055~0.200 mm。該設(shè)備由已經(jīng)標(biāo)定好的相機(jī)及激光器組成。在掃描鋼軌前,給定一個(gè)基準(zhǔn)面,即可精確得到掃描面相對(duì)于基準(zhǔn)面的精確x,y,z軸數(shù)據(jù)(單位:mm)。其中x軸表示縱向位置,y表示掃描橫向位置,z表示掃描面與基準(zhǔn)面的差值,即深度。

2 系統(tǒng)軟件設(shè)計(jì)


003.jpg

  本系統(tǒng)軟件部分由計(jì)算機(jī)完成,整個(gè)軟件流程設(shè)計(jì)如圖3所示。通過(guò)處理線陣相機(jī)采集的鋼軌踏面圖像得到擬檢測(cè)缺陷的面積、位置、長(zhǎng)寬比、圓形度等特征,通過(guò)激光掃描儀獲得鋼軌踏面的深度數(shù)據(jù),經(jīng)過(guò)處理得到各擬檢測(cè)缺陷的最大深度h,最后再將這兩組數(shù)據(jù)進(jìn)行融合,綜合判斷該鋼軌是否有缺陷,若有則報(bào)警并存儲(chǔ),若無(wú)則繼續(xù)掃描。

  2.1 鋼軌表面缺陷檢測(cè)與特征提取


004.jpg

  表面缺陷檢測(cè)與特征提取流程圖如圖4所示。首先,對(duì)線陣相機(jī)獲得的圖像進(jìn)行預(yù)處理,包括鋼軌區(qū)域定位、去噪以及增強(qiáng);然后進(jìn)行圖像分割和形態(tài)學(xué)處理,實(shí)現(xiàn)擬缺陷區(qū)域提取;最后計(jì)算所提取出擬缺陷區(qū)域的相關(guān)特征值。

  2.1.1 鋼軌區(qū)域定位

005.jpg

  攝像機(jī)采集的圖像中除了鋼軌表面區(qū)域外還包含其他背景區(qū)域,去掉無(wú)關(guān)的背景區(qū)域能大幅減少存儲(chǔ)空間和運(yùn)算時(shí)間,能有效提高檢測(cè)結(jié)果的有效性。通過(guò)對(duì)采集的圖像進(jìn)行觀察和分析發(fā)現(xiàn):鋼軌區(qū)域相對(duì)于圖像背景區(qū)域灰度差異明顯,鋼軌所在區(qū)域的灰度值比背景所在區(qū)域的灰度值高,如圖5(a)所示。對(duì)圖5(a)中灰度值進(jìn)行垂直積分投影,得到圖像的投影曲線如圖5(b)所示。截取投影積分最大的兩個(gè)值間的部分得到如圖5(c)所示鋼軌區(qū)域。

  2.1.2 圖像分割算法

  為降低噪聲對(duì)圖像處理效果的影響,本文首先選用3×3的窗口對(duì)圖5(c)進(jìn)行自適應(yīng)中值濾波,然后采用迭代閾值法對(duì)圖像進(jìn)行分割,具體步驟如下:

 ?。?)求出圖像中最小灰度值Zmin和最大灰度值Zmax,令閾值初值T0=(Zmin+Zmax)/2;

  (2)根據(jù)閾值Tk將圖像分割成目標(biāo)和背景兩部分,并分別求出兩區(qū)域的像素平均灰度值,記為μ1和μ2;

  (3)求出新閾值為Tk+1=(μ1+μ2)/2,k=1,2,3…;

  (4)重復(fù)(2)~(3),直到Tk+1=Tk,結(jié)束循環(huán)并跳轉(zhuǎn)至(5);

 ?。?)此時(shí)得到的Tk為最佳閾值,將大于Tk的部分判定為目標(biāo),灰度值設(shè)為255;將小于Tk的部分判定為背景,灰度值設(shè)為0,再對(duì)圖像進(jìn)行二值化操作。

  2.1.3 缺陷區(qū)域提取與特征值計(jì)算

  通過(guò)對(duì)形態(tài)學(xué)處理后的二值圖片從左至右、從上到下遍歷,標(biāo)記連通區(qū)域并計(jì)算特征值,實(shí)現(xiàn)缺陷區(qū)域提取與特征值計(jì)算。目前,選用如下特征值對(duì)缺陷進(jìn)行描述:

 ?。?)區(qū)域面積Ai。對(duì)一幅圖像,存在圖像區(qū)域Ri,Ri中像素點(diǎn)數(shù)構(gòu)成其面積Ai,對(duì)一幀圖像,設(shè)共有k個(gè)這樣的圖像區(qū)域,即i=1,2,3,…,k,則該幀圖像總面積A是各區(qū)域面積Ai之和:

  EEE`~RXWI94@R%[S{X$%H_Q.png

  其中,(x,y)∈Ri。

  (2)區(qū)域圓形度Ci。圓形度又稱為復(fù)雜度或分散度,主要反應(yīng)目標(biāo)區(qū)域Ri的緊湊程度,對(duì)于區(qū)域面積相同的區(qū)域,其區(qū)域周長(zhǎng)越小,其圓形度越小。圓形度定義為:

  A3K}}1(J_9OF(F`%[@}2VX4.png

  其中,Ai為區(qū)域Ri的面積,Pi為區(qū)域Ri的周長(zhǎng)。

 ?。?)長(zhǎng)寬比r。它是區(qū)域最小外接矩形長(zhǎng)和寬的比值。利用r可以將細(xì)長(zhǎng)的物體與圓形或方形的物體區(qū)分開來(lái)。

  r=LMER/WMER(3)

  其中,MER表示區(qū)域最小外接矩形,L表示外接矩形長(zhǎng),W表示外接矩形寬。

  2.2 鋼軌缺陷深度處理

  在用激光掃描儀連續(xù)掃描鋼軌前,首先將標(biāo)定板放于鋼軌踏面,通過(guò)掃描儀自帶軟件校正基準(zhǔn)面,使標(biāo)定板所在平面Z0=0。然后讓激光掃描儀掃描一段無(wú)缺陷鋼軌,將所得數(shù)據(jù)求和取平均,得到一行無(wú)缺陷的鋼軌表面相對(duì)于基準(zhǔn)面的數(shù)據(jù)Z1(單位:mm)。隨后,將Z1與掃描得到的每行數(shù)據(jù)Z2做差得到]T}873VTCGCP6]KDL2W1H8E.jpgh(缺陷深度),]T}873VTCGCP6]KDL2W1H8E.jpgh即可作為評(píng)判鋼軌有無(wú)缺陷的指標(biāo)之一。如果鋼軌無(wú)缺陷,那么0≤]T}873VTCGCP6]KDL2W1H8E.jpgh<0.5 mm,反之]T}873VTCGCP6]KDL2W1H8E.jpgh≥0.5 mm。

  2.3 數(shù)據(jù)融合

  二維視覺(jué)能夠明顯地提取裂紋、軋痕、結(jié)疤等缺陷,但也容易將小凹坑等缺陷區(qū)域判定為非缺陷。利用激光掃描儀獲得的深度數(shù)據(jù),可以快捷地判定出深度大于0.5 mm的凹坑等缺陷,但由于受掃描儀本身檢測(cè)精度影響,很難檢測(cè)出裂紋等平面缺陷。因此,適當(dāng)?shù)貙⒍S視覺(jué)與三維視覺(jué)的結(jié)果融合起來(lái)能大大提高系統(tǒng)的準(zhǔn)確度。本文采用“并”操作進(jìn)行融合,即根據(jù)二維圖像中缺陷區(qū)域的位置求得每個(gè)區(qū)域的最大缺陷深度Ri(max)(Ri表示二維圖像中第i個(gè)缺陷區(qū)域),將缺陷二維特征與三維特征組成一組特征描述向量,共同表示缺陷。

3 實(shí)驗(yàn)結(jié)果與分析

006.jpg

007.jpg

  實(shí)驗(yàn)采用的是自主搭建的鋼軌表面缺陷檢測(cè)平臺(tái)。系統(tǒng)搭建環(huán)境為Win7操作系統(tǒng),編程開發(fā)環(huán)境為Visual Studio 2012。利用HALCON11.0視覺(jué)庫(kù),搭建智能圖像處理軟件系統(tǒng),實(shí)現(xiàn)鋼軌表面缺陷三維檢測(cè)。圖6為實(shí)驗(yàn)結(jié)果。表1為檢測(cè)得到的缺陷特征描述數(shù)據(jù)。

  本系統(tǒng)在獲取缺陷特征描述向量后,首先判定缺陷最大深度是否大于0.5 mm,如果是則直接報(bào)警并存儲(chǔ)該缺陷,否則根據(jù)缺陷的幾何特征和形狀特征進(jìn)行判別。本系統(tǒng)從二維視覺(jué)和三維視覺(jué)兩方面綜合判斷鋼軌表面缺陷,能有效減少缺陷誤判率和漏檢率。

4 結(jié)束語(yǔ)

  本文設(shè)計(jì)了一個(gè)基于機(jī)器視覺(jué)的鋼軌表面缺陷三維檢測(cè)系統(tǒng),詳細(xì)介紹了系統(tǒng)總體設(shè)計(jì)、 圖像采集成像系統(tǒng)和缺陷檢測(cè)算法,基于VC++語(yǔ)言編寫了系統(tǒng)軟件,并對(duì)現(xiàn)場(chǎng)采集的鋼軌表面圖像進(jìn)行了缺陷檢測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)能夠完成對(duì)鋼軌表面缺陷的檢測(cè),并獲取缺陷的深度、面積等特征信息。

  但是,該檢測(cè)系統(tǒng)目前還存在許多不足,在檢測(cè)速度、精度上仍然有待提高,應(yīng)進(jìn)一步改進(jìn)算法,同時(shí)提高系統(tǒng)設(shè)計(jì)的穩(wěn)定性,增加缺陷識(shí)別模塊,以滿足檢測(cè)系統(tǒng)對(duì)高速實(shí)時(shí)處理的更高要求。

參考文獻(xiàn)

  [1] BABENKO P. Visual inspection of railroad tracks[D]. Florida: University of Central Florida Orlando, 2009.

  [2] DEUTSCHL E, GASSER C, NIEL A, et al. Defect detection on rail surfaces by a vision based system[C]. Intelligent Vehicles Symposium, 2004 IEEE. 2004: 507-511.

  [3] HASHMI M F, KESKAR A G. Computer-vision based visual inspection and crack detection of railroad tracks[J]. Recent Advances in Electrical and Computer Engineering, 2014:102-110.

  [4] CHEN L, LIANG Y, WANG K. Inspection of rail surface defect based on machine vision system[C]. Information Science and Engineering (ICISE), 2010 2nd International Conference on. IEEE, 2010: 3793-3796.

  [5] LIU Z, WANG W, ZHANG X, et al. Inspection of rail surface defects based on image processing[C]. Informatics in Control, Automation and Robotics(CAR), 2010 2nd International Asia Conference on. IEEE, 2010: 472-475.

  [6] 葉蘇茹.基于機(jī)器視覺(jué)的熱態(tài)重軌表面缺陷檢測(cè)關(guān)鍵技術(shù)研究[D].重慶:重慶大學(xué),2008.

  [7] 徐科,楊朝霖,周鵬,等.基于激光線光源的L軌表面缺陷三維檢測(cè)方法[J].機(jī)械工程學(xué)報(bào),2010,46(8):1-5.

  [8] 劉澤,王嵬,王平.鋼軌表面缺陷檢測(cè)機(jī)器視覺(jué)系統(tǒng)的設(shè)計(jì)[J].電子測(cè)量與儀器學(xué)報(bào),2010,24(11):1012-1017.

  [9] 王海濤,甄理,楊春霞,等.基于計(jì)算機(jī)視覺(jué)的鐵軌表面缺陷檢測(cè)系統(tǒng)[J].無(wú)損檢測(cè),2011,33(11):38-41.

  [10] 郝曉莉,李斌.基于機(jī)器視覺(jué)的鋼軌表面損傷檢測(cè)算法[J].北京交通大學(xué)學(xué)報(bào),2015,39(2):28-34.

  [11] 陳濤.熱態(tài)重軌表面缺陷在線檢測(cè)系統(tǒng)關(guān)鍵技術(shù)研究[D].重慶:重慶大學(xué),2011.

  [12] 吳祿慎,朱磊,陳華偉.基于線陣CCD相機(jī)的軌道圖像采集系統(tǒng)設(shè)計(jì)[J].鐵道標(biāo)準(zhǔn)設(shè)計(jì),2014,58(8):55-59.

  [13] 劉蘊(yùn)輝,劉鐵,王權(quán)良,等.基于圖像處理的鐵軌表面缺陷檢測(cè)算法[J].計(jì)算機(jī)工程,2007,33(11):236-238.

  [14] 張朝勇,蘇真?zhèn)?,喬麗,?一種基于LED和線激光的鋼軌表面缺陷檢測(cè)系統(tǒng)[J].科學(xué)技術(shù)與工程,2013,20(36):9877-9880.


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。