文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.181149
中文引用格式: 繆誠鈺,李鵬,張精榕,等. 一種機器視覺距離補償路面破損位置定位方法[J].電子技術應用,2018,44(10):68-72,77.
英文引用格式: Miao Chengyu,Li Peng,Zhang Jingrong,et al. A pavement damage location algorithm based on machine vision distance compensation[J]. Application of Electronic Technique,2018,44(10):68-72,77.
0 引言
我國高等級公路網(wǎng)的建設已躋身于世界領先水平[1]。高性能、高可靠性、高效率和多信息化的路面檢測裝備已經(jīng)成為路面檢測部門的迫切需要。傳統(tǒng)的人工檢測算法效率低、精度差、勞動強度大和安全性差已無法滿足道路養(yǎng)護作業(yè)需求。隨著圖像處理技術和人工視覺技術的快速發(fā)展,基于機器視覺路面檢測識別系統(tǒng)得以發(fā)展。同時為檢測載體在快速行駛下準確的識別路面破損類型以及確定高精度路面破損位置提出了更高的要求。
20世紀90年代,美國的Earth公司研制出PCES系統(tǒng),瑞典一家公司推出PAVUE系統(tǒng),但是這兩個系統(tǒng)實時性較差,同時對于裂縫的定位精度較低[2]。我國在路面破損的自動檢測識別研究方面起步較晚。長安大學的徐志剛、趙祥模等人一直在對路面裂縫的識別與檢測系統(tǒng)進行研究,同時實現(xiàn)對圖像中有裂縫部分的精確定位[3]。
高速載體運動下的導航定位精度是衛(wèi)星導航領域下的熱點問題,同時實現(xiàn)路面破損的高精度定位一直是路面破損智能識別與檢測系統(tǒng)的重點研究方向之一。近年來,我國全球北斗定位系統(tǒng)的快速發(fā)展,為實現(xiàn)路面破損的智能、快速、高精度的定位提供了有效的手段。雖然目前差分技術、組合導航的技術可以有效地提高定位精度,但是實用性不強且成本較高。本文結合基于FPGA的路面破損的智能識別和檢測系統(tǒng),提出了一種基于機器視覺距離補償的北斗路面破損智能識別定位算法,提高了在高速運動情況下路面破損定位的精度。
1 路面破損識別檢測系統(tǒng)和高精度定位的實現(xiàn)
1.1 基于FPGA的路面破損監(jiān)測系統(tǒng)
基于FPGA的路面破損識別檢測系統(tǒng)[4]的實現(xiàn)包括路面信息的采集、路面破損檢測算法、硬件系統(tǒng)的設計、北斗定位、無線傳輸五大部分組成。系統(tǒng)的結構見圖1。
減少由于光線不均勻的照射和傳感器的感光問題帶來的誤差噪聲。同時對CMOS攝像頭進行初始化配置:從設備操作視頻圖像為每秒30幀、輸出高8 bit的RAW RGB格式視頻信號,默認采取VGA分辨率輸出、開啟自動增益AGC功能、開啟自動白平衡AWB功能、開啟自動曝光AEC功能以及亮度值補償功能等。
工作流程為首先提出一種基于公路路面圖像特征提取和分析的路面破損檢測方法[5],并用FPGA構建硬件系統(tǒng)進行處理,然后將處理結果通過SDRAM進行緩存然后進行VGA顯示,當判定有破損時會向定位模塊獲取定位信息,并將進行運動補償后的破損定位信息在LCD上進行顯示,最后通過無線傳輸模塊把獲取到的圖像信息和破損位置信息發(fā)送至后臺服務器顯示并存儲。
1.2 高精度破損定位算法的實現(xiàn)
實現(xiàn)高精度的路面裂破損定位的流程如圖2所示。首先對北斗定位原始數(shù)據(jù)進行擴展卡爾曼濾波[6]處理,消除車載北斗信號容易受到遮擋和干擾的影響。消除誤差之后將車載北斗接收機接收到的經(jīng)緯度信息經(jīng)過高斯投影坐標轉換到平面坐標系。對CMOS相機采集的圖像幀數(shù)據(jù)進行數(shù)字圖像處理,得到裂縫的在實際中的物理距離,最后進行FPGA運算耗時的運動補償,進行坐標轉換得到裂縫的經(jīng)緯度。
2 基于EKF的北斗高精度的定位數(shù)據(jù)的獲取
本系統(tǒng)首先通過擴展卡爾曼濾波(EKF)將北斗接收機接收到的數(shù)據(jù)進行濾波處理[7],建立系統(tǒng)模型消除由于高樓建筑物和樹木遮擋導致定位精度偏差和數(shù)據(jù)丟失的問題。
假設車輛在行駛過程中是一個二維運動,則車輛運動的軌跡、實時速度都可以通過加速度的運動來推算出來,從而建立系統(tǒng)的運動狀態(tài)模型。因此,只需要將加速度變化的模型建立出來就可以表示運動載體當前的運動狀態(tài)[8]。
2.1 加速度模型的建立
由于汽車在做加速運動時,它的下一瞬間的加速度的值是在一個有限范圍內(nèi)的,也就是在當前加速度的領域內(nèi)。用一階馬爾科夫過程表示加速度的變化:
2.2 狀態(tài)方程
2.3 觀測方程的建立
將北斗接收機接收到的數(shù)據(jù)東向位置信息ze、北向位置信息zn、實時速度v和方向角θ建立觀測方程,離散化可得:
由于該方程是非線性的,采用EKF進行線性化,即將預測值處泰勒級數(shù)展開,保留一階項。
通過EKF來對裂縫識別車在行駛過程中由于樹木或者高樓引起的多徑效應的誤差進行修正,來得到更加精確的識別車的定位精度。
3 距離補償定位校正
3.1 FPGA圖像處理的運算時間補償
考慮到裂縫種類的特殊性,因此在裂縫判定分類時應該根據(jù)收集的大量不同裂縫圖像的投影特征,設定不同的閾值標準且安排一定的順序,設定閾值較高的應該事先判定分類,具體的設置方法在這里就不再贅述。
整個系統(tǒng)的圖像處理設計流程如圖3所示。
為得到FPGA圖像處理得到的運算時間,對圖像處理過程通過ModelSim-Altera仿真軟件進行功能性仿真,得到完成中值濾波耗時t1=1.200 ms,邊緣檢測耗時t2=1.205 ms,膨脹算法耗時t3=1.278 ms,腐蝕算法耗時t4=1.126 ms和計算裂縫物理距離耗時t5=1.002 ms,通過仿真,可以知道該系統(tǒng)的實時性較好。但是考慮到本系統(tǒng)的使用場景,當裂縫識別車在高速運動時,F(xiàn)PGA進行圖像處理時的計算速度造成的定位延時,需要對經(jīng)緯度的信息進行誤差運動補償。
北斗接收機可以實時地提供裂縫識別車的運動速度,在1 s內(nèi)將車行駛的速度近似為勻速運動。通過經(jīng)過濾波后的速度v,與FPGA進行圖像處理的時間總和t,計算公式如下:
3.2 基于機器視覺的誤差校正
本系統(tǒng)采用的是OV7725攝像頭進行圖像采集,采集速度為30 f/s,采集的圖像大小是640×480。采集系統(tǒng)模型如圖4所示。
由于攝像頭固定在車的頂部位置,對OV7725攝像機進行定標處理后[9],僅需要對特征提取裂縫圖像后的二值化圖像幀數(shù)據(jù)進行運算,計算裂縫A點位置裂縫在這一幀圖像中的距離。
當OV7725攝像頭固定在汽車上時,裂縫識別車到攝像頭采集到的視角的邊距S1是固定值為2 m,由于物距是固定的,經(jīng)過大量的統(tǒng)計測量可以得到單位長度對應的像素數(shù)為σ,通過對二值化后的裂縫像素點在圖像坐標系中坐標(u,v)進行差分,并迭代相加,統(tǒng)計出像素點的個數(shù)n,最后轉換為物理距離,計算公式如下:
圖5是經(jīng)過FPGA圖像處理后二值化圖像進行物理距離的運算,與實際的測量距離比較得到誤差值如表1所示。
4 北斗數(shù)據(jù)的轉換
由于北斗接收機輸出數(shù)據(jù)采用的是2000國家大地坐標系,因此需要運用CGCS2000坐標系進行高斯投影坐標正反轉換計算[10]。本系統(tǒng)采用的是6°帶投影算法。南京地區(qū)中央子午線為117°,建立高斯投影平面坐標。
CGCS2000坐標(B,L)轉換成平面直角坐標(x,y)的高斯投影坐標正算公式為:
5 算法測試與實驗結果分析
為了驗證該算法的有效性和實時性,本課題組于2017年12月20日在南京信息工程大學進行路面破損采集定位測試。試驗設備是由泰斗D303北斗芯片接收數(shù)據(jù),在一定時間內(nèi)進行定位數(shù)據(jù)的采集,如時間、緯度、經(jīng)度、速度、航向和方位角等。采樣頻率為1 Hz。圖6是經(jīng)緯度運動軌跡,圖7是速度的變化量.
圖8是濾波后的緯度和濾波前的緯度比較,圖9是濾波后的經(jīng)度和濾波前的經(jīng)度比較。以經(jīng)度為118.425 123°,緯度為32.125 222°坐標為起始位置,從圖中可以看出由于實驗過程中學校內(nèi)部的高樓和樹木較多,導致系統(tǒng)的誤差較大。通過EKF濾波后經(jīng)緯度值更加接近真實值。
在運動過程中對路面上破損進行實時采集和運動補償,對該路段進行了3次裂縫采集,并將本系統(tǒng)采集的路面裂縫的編號和誤差進行作圖分析。表2給出了在第一次測試采集裂縫的個數(shù)、編號、實時速度和定位誤差。圖10給出了3次重復采集的裂縫誤差信息。表3是3次測試誤差的統(tǒng)計結果。
實驗結果可以看出,本文提出的基于運動補償?shù)谋倍仿访嫫茡p定位算法具有較高的精度,通過機器視覺的補償將路面破損定位算法誤差降低到2 m左右。但是在車速較快時,誤差有較小的波動。精度滿足本系統(tǒng)的設計要求。
6 結論
本文針對基于FPGA的北斗路面破損識別系統(tǒng)提出了一種基于機器視覺距離補償?shù)穆访嫫茡p高精度定位算法,對破損信息的經(jīng)緯度的提取具有較高的精度和較好的實時性。擴展卡爾曼濾波很好地降低了北斗芯片在定位過程中的誤差干擾問題,并采用了機器視覺距離補償修正算法,很好地提高了基于FPGA的路面破損定位系統(tǒng)的實用性和可靠性。
參考文獻
[1] 楊愛國.《公路交通“十二五”發(fā)展規(guī)劃》解讀[J].中國公路,2012:56-58.
[2] HARIS N,SANHOURI K,DOWNEY A B.Analysis of segmentation algorithms for pavement distress images[J].Journal of Transportation Engineer,1993,119(6):391-394.
[3] WEI N,ZHAO X M,WANG T.Mathematical morphology based as phalt pavement crack detection[C].Proceedings of the Second International Conference on Transportation Engineering,2009:3883-3887.
[4] 李鵬,杜敏,趙芬芬.基于FPGA的圖像分析的路面破損檢測系統(tǒng)的研究與實現(xiàn)[J].微電子學與計算機,2017,34(3):100-104.
[5] 李鵬,趙芬芬,杜敏.基于雙樹復小波的直方圖路面裂縫檢測算法[J].安徽大學學報(自然科學版),2018,42(1):38-44.
[6] 韓春雷,陳赤聯(lián),宋明,等.卡爾曼濾波在被動目標跟蹤系統(tǒng)中的應用[J].電子科技,2012,22(4):47-53.
[7] 劉玉杰.基于擴展卡爾曼濾波算法的融合室內(nèi)定位系統(tǒng)研究與實現(xiàn)[D].南京:南京郵電大學,2016.
[8] YANG L,HILL C,MENG X.Evaluation of network RTK GPS correction transmission delay and loss[C].ENC GNSS2008,Toulouse,F(xiàn)rance,2008.
[9] 孫俊陽,孫俊,許傳龍,等.一種基于光場圖像的聚焦光場相機標定方法[J].光學學報,2017(5):176-186.
[10] 王愛生,徐生,張棋,等.基于CGCS2000橢球的大地測量實用公式[J].導航定位學報,2015,3(3):105-109.
作者信息:
繆誠鈺1,2,3,李 鵬1,2,3,張精榕1,2,3,顧彬彬1,2,3,蔣 威1,2,3
(1.南京信息工程大學 江蘇省大氣環(huán)境與裝備技術協(xié)同創(chuàng)新中心,江蘇 南京210044;
2.南京信息工程大學 江蘇省氣象傳感網(wǎng)技術工程中心,江蘇 南京210044;
3.南京信息工程大學 江蘇省氣象探測與信息處理重點實驗室,江蘇 南京210044)