摘 要: 根據(jù)工程實踐的需要、在進行圖像匹配" title="圖像匹配">圖像匹配時、利用在外極線上動態(tài)確定搜索范圍的方法減小匹配的搜索空間、從而降低匹配錯誤率、提高匹配速度。
關(guān)鍵詞: 圖像匹配 約束 外極線定界
?
立體視覺是計算機視覺" title="計算機視覺">計算機視覺中的一個重要分支,一直是計算機視覺研究的重點和熱點。它是計算機被動測距方法中最重要的距離感知技術(shù),可以在多種條件下靈活地測量景物的立體信息。在非接觸測量方面越來越占有重要的地位。
立體視覺中最重要也是最困難的問題是圖像匹配。匹配方法" title="匹配方法">匹配方法按照所選基元可分為兩類:其一是基于圖像灰度分布的匹配;以圖像的灰度信息為基礎(chǔ),對二維圖像平面進行統(tǒng)計分析,用灰度相關(guān)性和相似性做相關(guān)匹配判決。直接對圖像象素進行匹配可以得到較高的定位精度和密集的視差表面,由于過分依賴圖像灰度統(tǒng)計特性,使得匹配對景物表面結(jié)構(gòu)、光照反射和成像幾何十分敏感。其二是基于圖像特征的匹配;有選擇地采用能表示景物自身特性的特征,通過更多的強調(diào)空間景物的結(jié)構(gòu)信息解決匹配的歧義性,匹配特征主要為點狀特征、線狀特征、角特征、區(qū)域特征,也可取圖像統(tǒng)計特征。
空間三維景物成像為二維圖像時,不同視點的圖像有很大差異。有很多因素會使特征點" title="特征點">特征點不穩(wěn)定,如光照條件、景物幾何形狀、物理特性、噪聲干擾、畸變等都被綜合成單一的圖像中的灰度值。這使得像點灰度信息不能作為局部匹配的判決依據(jù)。物體對光照的非漫反射,在場景中產(chǎn)生陰影,在光照條件變化時,陰影的位置,形狀也發(fā)生變化,影響了特征區(qū)域的選擇和特征信息的提取??梢?,要準(zhǔn)確地對包含了如此之多不利因素的圖像進行無歧義的匹配有相當(dāng)?shù)碾y度。特別是在匹配過程中,一般都是在圖像對的寬度范圍內(nèi)進行匹配搜索,不僅費時,而且還增加了匹配的錯誤概率。因此,在實際應(yīng)用中,如何盡可能地縮短匹配搜索范圍,對匹配定位的準(zhǔn)確性和匹配運算的實時性都有著無可置疑的重要性。
1 基本約束條件
不同視點投影圖像的差異和物體表面局部結(jié)構(gòu)的相似性使對應(yīng)性求解呈多義性。為提高匹配的可靠性、置信度,消除歧義性,根據(jù)物體某些固有特性和先驗知識擬定了匹配約束。
1.1 外極線約束
空間序列圖像中,攝像機焦點f1,f2與物點P決定一個外極面,與像面的交線為外極線,也叫核線。同名像點位于同名外極線上,在標(biāo)定得到內(nèi)外方位參數(shù)后,圖像序列信息中,同名外極線是確定的。圖像匹配中只需要沿外極線方向搜索就可以找到相應(yīng)像點,搜索是沿著外極線方向進行的,也就形成了一維搜索,習(xí)慣上把這種圖像匹配叫做外極線數(shù)字相關(guān)或核線相關(guān)。由于沿外極線的一維圖像匹配,搜索位置比二維少得多,它具有計算量小,圖像匹配速度大大提高的優(yōu)點,是目前許多圖像匹配方案中都廣泛采用方法。[2]
1.2 視差連續(xù)性約束
僅在被遮擋區(qū)域或邊界上,視差才出現(xiàn)不連續(xù),用此可剔除部分偽匹配點。
1.3 物體形態(tài)約束
物體表面有一定的坡度和高度,在一定范圍內(nèi)變化,由此可找出對應(yīng)點范圍限制,減少搜索區(qū)和剔除部分偽匹配點。
1.4 偏差梯度約束
對于絕大多數(shù)自然場景,即使很復(fù)雜,兩對共軛點的偏差梯度總是小于1的;而對于不正確的匹配,則很少能滿足這種限制。這種約束需要第三個相機。[1]
另外,還有相容性約束、唯一性約束等等。我們在這些約束的基礎(chǔ)上,根據(jù)測量系統(tǒng)的具體情況,提出了一種新的約束條件,即根據(jù)被測物體深度空間所具有的坐標(biāo)范圍約束。
1.5 坐標(biāo)范圍約束
被測物體的深度空間已知和投影幾何固定時,可以利用被測物的高度信息來限制同名像點在外極線上的范圍。由物點坐標(biāo)用一元線性回歸可求出同名像點在對應(yīng)的外極線上的可能區(qū)域,減小了直線搜索范圍。
2 動態(tài)外極線定界方法
在圖像匹配中加入上述各種匹配約束后,特征點的搜索范圍已經(jīng)減小。但在工程實踐中,我們發(fā)現(xiàn)特征點數(shù)目越多,求得空間物體上的對應(yīng)點越密集,對物體的三維描述就越容易,得到的形態(tài)參數(shù)就越精確,同時匹配所需的時間就越長。這在圖像匹配中始終是一個突出的矛盾,因此正確地增加匹配約束,減小搜索范圍,提高匹配速度是我們一直研究的問題。
煤場中的煤堆類似于四棱柱體,空間幾何關(guān)系示意圖如圖1所示。
在工程中,攝像機被固定在立于煤場一邊的鐵塔頂上,兩臺攝像機均俯視煤堆,交向攝影。這樣得到的兩幅圖像像面上每一個像素間隔代表的空間距離是不同的。在圖像的下邊,每個像素間隔代表的空間距離大,空間分辨率??;隨著像面坐標(biāo)J值的增大,越往上,每個像素間隔代表的空間距離減小,空間分辨率增大。根據(jù)前面敘述的外極線定界得到的匹配搜索范圍如圖2所示。
圖2中左圖有四個特征點,右圖中有相應(yīng)的四條外極線與之對應(yīng),并且圖像經(jīng)過幾何變換后,外極線接近于水平。右圖中的兩條虛線表示對應(yīng)點在外極線上的搜索范圍,隨著像面坐標(biāo)J值的增大,越往上,外極線的定界范圍越寬,匹配點搜索所需時間就越長,匹配出錯概率就越大。而像面坐標(biāo)J值越大,對應(yīng)的空間物點的三維坐標(biāo)Z的值就越大。因此,在兩幅圖像上部的特征點能否正確匹配,對所求的空間物體的高度影響非常大。
在實踐中,我們發(fā)現(xiàn)前面所述的定界方法只利用了空間物體整體的坐標(biāo)連續(xù)性、整體的形態(tài)限制和坐標(biāo)范圍限制。而沒有充分利用相鄰兩個特征點之間的空間坐標(biāo)和像面坐標(biāo)連續(xù)性。為了克服原有的定界方法的不足,我們采用了動態(tài)定界來縮小匹配點的搜索范圍,如圖3所示。
在左、右兩幅800×600×256級灰度圖像中,首先確定出已知的基準(zhǔn)點在圖像中的對應(yīng)位置(在兩幅圖像的最下方中央),及基準(zhǔn)點的空間三維坐標(biāo),根據(jù)基準(zhǔn)點像面坐標(biāo),在與I垂直的方向上,劃分n個15×15大小的區(qū)域,按照尋找特征點的方法,在每個小區(qū)域中以灰度重心作為它的特征點(圖中只以四個特征點為例),圖3(a)中,第一個" title="第一個">第一個特征點與基準(zhǔn)點垂直相鄰。根據(jù)像面坐標(biāo)的連續(xù)性可知,在圖3(b)中與之對應(yīng)的匹配點在第一條外極線上,并且像面坐標(biāo)I的值在基準(zhǔn)點坐標(biāo)I值左右的一定范圍。根據(jù)空間物點坐標(biāo)連續(xù)性可知,與相鄰的兩個特征點相對應(yīng)的空間點三維坐標(biāo)中,Z、Y和X值的差別在一定范圍內(nèi),即煤堆在X、Z方向不可能劇烈突起、下凹或斷裂;在Y方向隨著像面坐標(biāo)J的增大,Y值只能增大,不可能減小。由此可以在第一條外極線上劃定一定范圍,與圖3(b)基準(zhǔn)點垂直相鄰,在這個范圍內(nèi)依據(jù)特征點的對應(yīng)準(zhǔn)則進行匹配。在圖3(b)中得到第一個匹配點后,第二個匹配點的搜索范圍根據(jù)第一個匹配點的像面坐標(biāo)而定,依次類推。在圖像J方向上確定了一系列的特征點和匹配點后,與其相鄰的左邊或右邊的特征點也可以類推。這種定界方法中,每一個特征點在外極線上的搜索范圍都是靠前一個已知對應(yīng)點來確定,我們稱之為動態(tài)定界。
從示意圖中可以看出,采用動態(tài)定界后,在像面上方匹配點的搜索范圍大大縮小。因此,匹配速度進一步加快,匹配錯誤概率也同時降低。
另外,作者認為,在交向攝像中,圖像中心部位是整幅圖像分辨率和清晰度最好的地方,匹配時,從圖像中心線方向上首先進行,采用上述動態(tài)定界的方法搜索對應(yīng)點;然后再向左、右兩個方向擴展,以中心線上的匹配點作為外極線定界的參考點,逐步進行匹配,直到整幅圖像匹配完畢。
3 實驗結(jié)果
作者用圖像對分別用傳統(tǒng)方法和動態(tài)外極線定界方法進行對比實驗,并用人機交互方法檢驗其匹配結(jié)果正確性,結(jié)果如表1所示。
從表中看出,同一圖像對用定界匹配方法比常規(guī)匹配方法節(jié)省匹配時間79.4%,而匹配準(zhǔn)確率則提高了41.7%。在大部分匹配點正確的前提下,利用圖像的整體結(jié)構(gòu)信息,可以剔除一些誤匹配點,更進一步提高匹配的準(zhǔn)確度。
參考文獻
1 吳立德.計算機視覺.上海:復(fù)旦大學(xué)出版社,1993
2 Kenneth R.Castleman.Digital Image Processing.北京:清華大學(xué)出版社,1997