文獻標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.172745
中文引用格式: 姜德晶,孫濤,秦錄芳. 基于方向引導(dǎo)優(yōu)化的視覺導(dǎo)航方法[J].電子技術(shù)應(yīng)用,2018,44(2):52-54,58.
英文引用格式: Jiang Dejing,Sun Tao,Qin Lufang. Direction guided optimization based vision navigation method[J]. Application of Electronic Technique,2018,44(2):52-54,58.
0 引言
基于計算機視覺技術(shù)的視覺導(dǎo)航技術(shù)是人工智能領(lǐng)域的研究重點和熱點[1]。同傳統(tǒng)的衛(wèi)星定位(GPS)導(dǎo)航技術(shù)相比,基于視覺的導(dǎo)航方法具有實現(xiàn)方式靈活、性價比高、實時性好、導(dǎo)航快速精確等優(yōu)點[2-3]。但是,現(xiàn)有的視覺導(dǎo)航系統(tǒng)多數(shù)都是基于固定攝像機的限定視角導(dǎo)航方法,這類導(dǎo)航系統(tǒng)只能適用于在直線行駛或者小彎度行駛情況,一旦出現(xiàn)大彎度轉(zhuǎn)彎,道路會偏離攝像機視場,導(dǎo)致路徑導(dǎo)航線丟失、導(dǎo)航失效[4-5]。為改善這種視角范圍的局限,傳統(tǒng)解決方法主要是將固定的攝像機改為廣角鏡頭攝像機,增大視場范圍[6],但是廣角攝像機的圖像畸變嚴(yán)重,對圖像前期的處理精度和速度的要求嚴(yán)格,同時,增加了大量的圖像干擾信息,為后續(xù)的圖像處理增加了較大的難度。近年來,有學(xué)者提出了一種主動視覺智能導(dǎo)航方法[7],借鑒人類觀察道路時的眼球轉(zhuǎn)動機理,將攝像機安裝在可旋轉(zhuǎn)控制云臺系統(tǒng)上,通過一定的反饋控制,實時修正攝像機焦點和行駛路線正前方的夾角,保證行駛路線一直處于攝像機視角范圍內(nèi)。由于該方法在保證視角清晰的前提下,大幅擴展了攝像機的視角范圍,近年來在目標(biāo)跟蹤[8]、人臉檢測[6]等領(lǐng)域得到了較多的研究和應(yīng)用。其中,如何精確獲取導(dǎo)航參量是主動視覺導(dǎo)航系統(tǒng)的關(guān)鍵問題之一[9]。傳統(tǒng)的計算方法主要通過預(yù)先設(shè)置的高精度標(biāo)定參照物,通過空間圖像和平面圖像的有效映射關(guān)系求取相關(guān)的參量值,該類方法標(biāo)定精度高,但是應(yīng)用范圍有限且標(biāo)定復(fù)雜,不利于變化場景的導(dǎo)航[10]。文獻[11]提出了基于視覺圖像的自計算方法,該方法通過前端獲取的視頻幀圖像進行系統(tǒng)參量的計算,利用Kruppa方程和分層逐步標(biāo)定的方式實現(xiàn)了導(dǎo)航參量的計算,該方法靈活性強、使用范圍較廣,但是計算精度和魯棒性較差,在背景存在干擾的情況下計算誤差較大,甚至引起導(dǎo)航失敗[12]。文獻[13]利用相機進行可控運動,通過約束運動的性質(zhì)來實現(xiàn)導(dǎo)航參量的計算,提升了主動視覺導(dǎo)航的參量計算精度和魯棒性。在此基礎(chǔ)上,先后發(fā)展出了旋轉(zhuǎn)計算方法[14]、平面正交計算方法[15]以及基于無窮遠平面單應(yīng)性矩陣[16]的計算方法。該類方法計算精度高、魯棒性好,但是該類方法需要計算的參量過多且計算復(fù)雜,在實時導(dǎo)航系統(tǒng)中很難應(yīng)用。文獻[17]在此基礎(chǔ)上進一步對計算復(fù)雜性進行優(yōu)化,利用二維頻移運動的相對計算方法求解線性模型的部分參數(shù),并通過畸變的方法引入非線性優(yōu)化,有效地簡化了計算過程,但是這種非線性畸變的過程對系統(tǒng)的初值和噪聲都非常敏感,計算穩(wěn)定性較差。
針對這些問題,本文提出了一種基于方向引導(dǎo)優(yōu)化的主動視覺導(dǎo)航參量計算方法。該方法的實現(xiàn)過程可以大致概括為三個步驟:(1)坐標(biāo)系的變換。為了實現(xiàn)理論計算與實際導(dǎo)航系統(tǒng)的高精度擬合,首先給出了車輛物理坐標(biāo)系與視覺圖像坐標(biāo)系的變換方程。(2)車道邊緣線的精確檢測。精確地獲取車道邊緣線是進行視覺導(dǎo)航的前提,為了解決道路積水、陰影等背景干擾問題,在傳統(tǒng)Canny算子初步檢測的基礎(chǔ)上,提出了方向引導(dǎo)優(yōu)化的方法。(3)大曲率彎道線精確檢測問題。為了保證在大曲率轉(zhuǎn)彎情況下車道線的精確檢測問題,在前期優(yōu)化的基礎(chǔ)上,提出了基于直線與曲線閾值優(yōu)化的廣義Hough變換方法,對不同曲率的線段進行優(yōu)化選擇,精確檢測道路標(biāo)志線和邊緣線,實時計算和修正導(dǎo)航中心引導(dǎo)線的偏離角度。
1 坐標(biāo)變換
坐標(biāo)變換是進行視覺導(dǎo)航實現(xiàn)的首要條件,為了實現(xiàn)圖像坐標(biāo)與實際車輛物理坐標(biāo)的意義映射,本文基于車輛行駛的實際道路環(huán)境構(gòu)建坐標(biāo)系,將攝像機中心定為坐標(biāo)原點,X軸為車輛行駛方向,Y軸為行駛方向的正左方,將控制云臺的縱向軸設(shè)置為Z軸。為便于后續(xù)云臺控制的分析,將車輛物理坐標(biāo)系獲取的圖像表示為(xr,yr,zr),相應(yīng)的像素坐標(biāo)系可以表示為(u,v),圖1表示了坐標(biāo)變換前后之間的關(guān)系,具體的變換關(guān)系計算如下[10]:
由于車輛導(dǎo)航過程中需要檢測的道路標(biāo)志線一直處于平面狀態(tài)(zr=0),為方便計算,可將坐標(biāo)系重新修正為xrOyr坐標(biāo)系,將式(1)重新計算為:
2 道路邊緣檢測及方向引導(dǎo)優(yōu)化實現(xiàn)
2.1 方向引導(dǎo)優(yōu)化實現(xiàn)
首先通過Canny算進行初步檢測,獲取圖像邊緣信息以后,保留圖像中的輪廓信息,但是由于陰影、積水和路面裂縫等路面特征的干擾,導(dǎo)致雜波輪廓信息同樣得到了保留,因此,該部分主要采用方向引導(dǎo)搜索優(yōu)化去除陰影干擾[14]。假設(shè)攝像機前端獲取的圖像被劃分為3×3圖像塊,當(dāng)前像素點(如圖2(a)中的灰色中心點)具有8個鄰接的像素。為說明搜索的方向性,假設(shè)目前的像素處于左車道,則車輛行駛的方向只有3個方向,如圖2(a)所示。同樣,處于右車道也具有3個行駛方向,如圖2(b)所示。
根據(jù)車輛在道路上的行駛規(guī)則,可以定義為最優(yōu)選擇方向為90°、次優(yōu)選擇為45°、級別最低為0°,以車輛在左邊車道行駛為例給出搜索過程描述如下[15]。
(1)以圖像的左下角為參考進行平面掃描,如果當(dāng)前像素判定為邊緣,記錄并創(chuàng)建候選線段;否則,繼續(xù)掃描直到找到邊緣點,并執(zhí)行第(2)步。
(2)根據(jù)方向優(yōu)先原理進行掃描,判定邊緣點在3個方向中的位置并記錄坐標(biāo),繼續(xù)掃描,直到結(jié)束;如果3個方向均未掃描到邊緣點,則跳轉(zhuǎn)第(3)步。
(3)遍歷整幅圖像,尋找新的邊緣點,直到結(jié)束。
上面的方向優(yōu)先搜索完成以后,可以建立線段集合,并記錄每一條線段的起始坐標(biāo)。
2.2 導(dǎo)航參量的計算
在2.1小節(jié)檢測的基礎(chǔ)上,為進一步精確引導(dǎo)車輛的行駛,需基于檢測的邊緣線和道路標(biāo)志線進行導(dǎo)航中心引導(dǎo)線的提取以及偏離角度的計算。首先采用圖像重心分割的方法獲取精確的導(dǎo)航引導(dǎo)線[16],具體如圖3所示。
通過計算兩個標(biāo)志線以內(nèi)的圖像(包括邊緣線與標(biāo)志線以內(nèi)的圖像,主要是機器人行駛路線所在的邊界標(biāo)志)的重心,基于中心的縱坐標(biāo)進行二次分割,獲取上下圖像的中心A和B點,直線AB即為機器人行駛區(qū)域內(nèi)的中心引導(dǎo)線。如圖3(b)所示,O為該幀圖像的整體重心,I1和I2主要用于偏離角度的計算。具體的計算過程如圖4所示。
為計算機器人的行駛偏角及偏距,在獲取機器人引導(dǎo)線以后,利用線段端點坐標(biāo)及長度畫圓,并結(jié)合線段另一端點像素所在的坐標(biāo)位置,計算引導(dǎo)線的偏角。實驗中,首先將機器人放置在行駛的路段進行引導(dǎo)線初始化,利用圖3(a)擬合道路引導(dǎo)線,進而基于圖3(b)計算引導(dǎo)線的線性方程,并確定其具體的位置m。以相機為O點,基于I1和I2計算機器人的位置偏移D和偏角α。
3 實驗與結(jié)果分析
為驗證本文方法的有效性,該部分主要針對路況復(fù)雜的彎道行駛進行分析,視頻幀圖像大小為400像素×300像素。圖5(a)所示為在校園內(nèi)彎道測試實驗現(xiàn)場獲取的彎道導(dǎo)航圖像,圖5(b)為本文優(yōu)化后的檢測結(jié)果。
表1為彎道視頻幀序列計算結(jié)果平均比較結(jié)果,從表中可以看出在彎道行駛情況下,3種方法的計算精度均有所下降,其中,文獻[13]和文獻[17]的性能明顯變差,而本文方法針對該序列的計算精度仍然保持了相當(dāng)高的精度,平均偏航角度的計算誤差控制在1.5°以內(nèi),平均行駛偏距控制在5個像素左右。
4 結(jié)論
本文主要針對主動視覺導(dǎo)航系統(tǒng)參量的計算方法展開研究,提出了一種基于方向引導(dǎo)優(yōu)化的主動視覺導(dǎo)航參量計算方法。該方法是在文獻[13]的基礎(chǔ)上進行優(yōu)化和改進,利用主動視覺相機的運動可控性進行參量的計算。通過對傳統(tǒng)Canny算子檢測結(jié)果進行方向引導(dǎo)優(yōu)化以后,明顯降低了道路陰影、路面積水等雜波的干擾,在此基礎(chǔ)上,進一步采用閾值優(yōu)化的廣義Hough變換方法對檢測結(jié)果進行分類優(yōu)化,實現(xiàn)車道線的內(nèi)外邊緣及道路標(biāo)志線的精確檢測。實驗結(jié)果表明,本文方法在彎道行駛情況下導(dǎo)航參量的計算精度明顯提升,具有優(yōu)秀的性能指標(biāo)。
參考文獻
[1] 姬長英,周俊.農(nóng)業(yè)機械導(dǎo)航技術(shù)發(fā)展分析[J].農(nóng)業(yè)機械學(xué)報,2014,45(9):4-54.
[2] 李林,魏新華,朱文靜,等.機器視覺輔助導(dǎo)航系統(tǒng)研究[J].農(nóng)業(yè)機械學(xué)報,2015,46(5):1-7.
[3] 張志斌,羅錫文,周學(xué)成,等.基于Hough變換和Fisher準(zhǔn)則的壟線識別算法[J].中國圖象圖形學(xué)報,2007,12(12):2164-2168.
[4] GUERRERO J M,GUIJARRO M,MONTALVO M,et al.Automatic expert system based on images for accuracy crop row detection in maize fields[J].Expert Systems with Applications,2013,40(2):656-664.
[5] WALKER J S,CHEN Y J.Image denoising using tree base wavelet subband correlation and shrinking[J].Optical Engineering,2000,39(11):2900-2908.
[6] Ji Wei,Zhao Dean,Cheng Fengyi,et al.Automatic recognition vision system guided for apple harvesting robot[J].Computers and Electrical Engineering,2012,38(5):1186-1195.
[7] Li Bin,Wang Maohua.In-field recognition and navigation path extraction for pineapple harvesting robots[J].Intelligent Automation & Soft Computing,2013,19(1):9-20.
[8] Wei Xiangqin,Jia Kun,Lan Jinhui,et al.Automatic method of fruit object extraction under complex agricultural back-ground for vision system of fruit picking robot[J].Optik International Journal for Light and Electron Optics,2014,125(19):5684-5689.
[9] Tang Jinglei,Jing Xu,He Dongjian,et al.Visual navigation control for agricultural robot using serial BP neural network[J].Transactions of the Chinese Society of Agricultural Engineering,2011,27(2):194-198.
[10] 李景彬,陳兵旗,劉陽.棉花鋪膜播種機導(dǎo)航路線圖像檢測方法[J].農(nóng)業(yè)機械學(xué)報,2014,40(1):40-45.
[11] 張征明,盧偉,陸靜霞.基于快速偽球濾波的智能拖拉機視覺導(dǎo)航中場景去霧方法[J].機器人,2015,37(5):603-613.
[12] 李顥,楊明.基于非線性逆透視變換的攝像機畸變參數(shù)標(biāo)定[J].上海交通大學(xué)學(xué)報,2008,42(10):1136-1139.
[13] Su Jianbo.Camera calibration based on receptive fields[J].Pattern Recognition,2007,40(10):2837-2845.
[14] DANG T,HOFFMANN C,STILLER C.Continuous stereo self-calibration by camera parameter tracking[J].IEEE Transactions on Image Processing,2009,18(7):1536-1550.
[15] 胡占義,吳福朝.基于主動視覺攝像機標(biāo)定方法[J].計算機學(xué)報,2002,25(11):1149-1156.
[16] BAKKER T,WOUTERS H,ASSELT K V,et al.A vision based row detection system for sugar beet[J].Computers and Electronics in Agriculture,2008,60(1):87-95.
[17] 朱嘉,李醒飛,徐穎欣.攝像機的一種主動視覺標(biāo)定方法[J].光學(xué)學(xué)報,2010,30(5):1297-1303.