0 引言

    在現(xiàn)有的目標(biāo)識(shí)別^[1]、目標(biāo)分類^[2]、三維重建^[3]等實(shí)際應(yīng)用中，提取到的特征點(diǎn)匹配數(shù)量越多，識(shí)別精度越高，分類則會(huì)越精細(xì)。

    尺度不變模擬^[4-5]、基于仿射變換的SURF描述符^[6]、仿射不變模擬^[7-8]及二值圖像代替灰度圖像^[9]等現(xiàn)有提升特征數(shù)量的方法雖然提升了特征點(diǎn)數(shù)量，然而在進(jìn)行匹配的過(guò)程中，由于直接去掉了很多一對(duì)多、多對(duì)一的特征點(diǎn)，從而導(dǎo)致獲得到的匹配點(diǎn)對(duì)少了很多，而這些被去掉的特征點(diǎn)中有很多是可以得到正確匹配的。本文方法在ASIFT算法特征匹配的基礎(chǔ)上，通過(guò)在已經(jīng)正確匹配的特征點(diǎn)對(duì)的周圍限定鄰域內(nèi)尋找特征點(diǎn)進(jìn)行匹配，達(dá)到增加正確匹配的特征點(diǎn)、提升正確匹配點(diǎn)數(shù)量的目標(biāo)。

1 算法模型與方法

    在正確匹配的特征點(diǎn)對(duì)的周圍限定鄰域內(nèi)尋找特征點(diǎn)進(jìn)行匹配的過(guò)程如下：

    (1)設(shè)ASIFT算法在參考圖像I₁與測(cè)試圖像I₂中提取到的特征點(diǎn)集合分別為S₁、S₂，ASIFT算法得到的匹配點(diǎn)集合為MS，S₁、S₂中未匹配的點(diǎn)為US₁、US₂。

    (2)在MS中隨機(jī)選取一個(gè)未計(jì)算過(guò)的匹配點(diǎn)對(duì)設(shè)為P₁(x₁，y₁)、P₂(x₂，y₂)，設(shè)點(diǎn)P₁、P₂所在的模擬圖像分別為I_p1、I_p2。分別求出US₁、US₂中未匹配上的特征點(diǎn)在圖像I_p1、I_p2上的坐標(biāo)，分別記這些坐標(biāo)集合為S_sim1、S_sim2。

    (3)分別在S_sim1、S_sim2中查找在點(diǎn)(x₁，y₁)、(x₂，y₂)的限定區(qū)域內(nèi)的點(diǎn)，當(dāng)選取的兩個(gè)點(diǎn)同時(shí)滿足條件時(shí)分別保存在集合S₃和S₄中。

    (4)若集合S₃中的所有點(diǎn)都已經(jīng)計(jì)算過(guò)，則跳至步驟(5)；否則在集合S₃中隨機(jī)選取未計(jì)算過(guò)得一個(gè)點(diǎn)，同時(shí)在集合S₄中選取與該點(diǎn)距離最近與次近的點(diǎn)，若與最近點(diǎn)的距離和與次近點(diǎn)的小于給定閾值，則該點(diǎn)與最近距離的點(diǎn)匹配，將匹配的特征點(diǎn)對(duì)加入集合NS中，將US₁、US₂中對(duì)應(yīng)的點(diǎn)標(biāo)記為已匹配。

    (5)若MS中所有的點(diǎn)對(duì)都已經(jīng)計(jì)算過(guò)，則將集合NS中的點(diǎn)加入MS中并結(jié)束，否則跳至步驟(2)。

    下面對(duì)步驟(2)、步驟(3)和步驟(4)分別進(jìn)行詳細(xì)介紹。

1.1 將特征點(diǎn)坐標(biāo)映射到對(duì)應(yīng)的模擬圖像上

    設(shè)圖像I₁當(dāng)前某一模擬圖像為I，由于在ASIFT中求得的特征點(diǎn)的坐標(biāo)都是I₁上的坐標(biāo)(需要在I₁上畫出匹配的特征點(diǎn)對(duì))，因此需要將I₁上的坐標(biāo)映射到模擬圖像I上。

    由ASIFT算法中從圖像I₁到圖像I的變換，可以得出圖像I₁坐標(biāo)(x，y)到模擬圖像上的坐標(biāo)(x₁，y₁)之間的對(duì)應(yīng)關(guān)系為：

其中，w與h分別為圖像I₁的寬度與高度。

    根據(jù)式(1)和式(2)，在MS中隨機(jī)選取一個(gè)未計(jì)算過(guò)的匹配點(diǎn)對(duì)設(shè)為P₁(x₁，y₁)、P₂(x₂，y₂)，設(shè)點(diǎn)P₁、P₂所在的模擬圖像分別I_p1、Ip2，就可以求出US₁、US₂中未匹配上的特征點(diǎn)在圖像I_p1、I_p2上的坐標(biāo)，分別記這些坐標(biāo)集合為S_sim1、S_sim2。

1.2 在未匹配的特征點(diǎn)中查找符合匹配點(diǎn)對(duì)的限定區(qū)域內(nèi)的點(diǎn)

    在S_sim1、S_sim2中查找在點(diǎn)P₁(x₁，y₁)、P₂(x₂，y₂)的限定區(qū)域內(nèi)的點(diǎn)，限定區(qū)域范圍為計(jì)算特征點(diǎn)描述符的像素區(qū)域。當(dāng)S_sim1、S_sim2中選取的兩個(gè)點(diǎn)同時(shí)滿足條件時(shí)，將這兩個(gè)點(diǎn)記錄下來(lái)，分別保存在集合S₃和S₄中。限定區(qū)域用如下式表示：

其中，(x₃，y₃)、(x₄、y₄)分別為集合S_sim1、S_sim2中未匹配的點(diǎn)在圖像I_p1、I_p2上的坐標(biāo)，r₁、r₂分別為點(diǎn)P1(x₁，y₁)、P₂(x₂，y₂)在圖像I_p1、I_p2上計(jì)算描述符像素區(qū)域的半徑。

1.3 計(jì)算符合限定區(qū)域內(nèi)的特征點(diǎn)是否為匹配點(diǎn)

    從集合S₃中隨機(jī)取出未計(jì)算過(guò)的點(diǎn)設(shè)為Q₁，從集合S₄中找出與點(diǎn)Q₁最近與次近的兩個(gè)點(diǎn)，設(shè)為Q₂、Q₃。若Q₂與Q₁間的距離d₁以及Q₃與Q₁間的距離d₂的比值小于給定閾值t，則認(rèn)為Q1與Q2匹配。計(jì)算公式為：

其中：

其中，(l₁，l₂，…，l_h)表示點(diǎn)Q1的描述符，(m₁，m2，…，mh)表示點(diǎn)Q₂的描述符，(n₁，n₂，…，n_h)表示點(diǎn)Q₃的描述符，h表示描述符的維數(shù)，t此處取0.36。

    將匹配的特征點(diǎn)對(duì)加入集合NS中，將US₁、US₂中對(duì)應(yīng)的點(diǎn)標(biāo)記為已匹配。這樣就把空間約束與局部描述符結(jié)合起來(lái)了。

2 實(shí)驗(yàn)

    本節(jié)主要是通過(guò)實(shí)驗(yàn)分析本文算法的性能，并將結(jié)果與ASIFT算法結(jié)果進(jìn)行比較。通過(guò)使用相同的圖像集，利用本文算法與ASIFT算法來(lái)處理圖像集得到匹配實(shí)驗(yàn)結(jié)果。在比較兩個(gè)算法的性能時(shí)，會(huì)用到兩種算法的匹配結(jié)果圖像以及匹配正確點(diǎn)對(duì)數(shù)目來(lái)進(jìn)行對(duì)比分析。

2.1 絕對(duì)傾斜測(cè)試

    圖1顯示了絕對(duì)傾斜測(cè)試實(shí)驗(yàn)的設(shè)置。在圖2中的油畫在拍攝時(shí)焦距縮放改變?cè)凇?～×10間，拍攝時(shí)視角的改變范圍在為0°（正面）～80°。很顯然，超過(guò)80°，在正面圖像與最邊上的圖像之間建立對(duì)應(yīng)關(guān)系是非常復(fù)雜的。在一個(gè)反射表面存在一個(gè)如此大的視角改變范圍，傾斜視圖中的圖像在正面視圖中會(huì)完全不同。

    表1給出了在不同的絕對(duì)傾斜角下，兩個(gè)算法匹配的正確點(diǎn)對(duì)數(shù)。其中表1中相機(jī)的焦距縮放為×1，表1中的圖像在拍攝時(shí)相機(jī)的拍攝角度θ均在45°～80°之間，其中傾斜度t=1/cosθ，圖像的尺寸大小均為400×300，表中的正確匹配點(diǎn)對(duì)數(shù)量都是經(jīng)過(guò)RANSAC^[10-11]算法處理得到的。圖3給出了兩個(gè)算法使用部分圖像經(jīng)過(guò)RANSAC算法處理得到的匹配結(jié)果，兩幅用來(lái)匹配的圖像是相機(jī)在正面拍攝圖2以及65°拍攝角度拍攝圖2，相機(jī)焦距縮放均為×1。由表1以及圖3中可以看出，在相同的條件下，本文算法比ASIFT算法得到的正確匹配點(diǎn)對(duì)數(shù)較多。

    再來(lái)比較一下相機(jī)與物體之間的距離放大10 倍的結(jié)果。表2中的圖像在拍攝時(shí)相機(jī)的拍攝角度均在45°～80°之間，相機(jī)的焦距縮放為×10，使用圖2兩個(gè)算法匹配得到正確點(diǎn)對(duì)數(shù)，其中圖像的尺寸大小均為400×300，表中的正確匹配點(diǎn)對(duì)數(shù)量都是經(jīng)過(guò)RANSAC算法處理得到的。圖4給出了兩個(gè)算法使用部分圖像經(jīng)過(guò)RANSAC算法處理后得到的匹配結(jié)果，兩幅用來(lái)匹配的圖像是相機(jī)在正面拍攝圖2以及45°拍攝角度拍攝圖2，相機(jī)焦距縮放均為×10。由表2以及圖4可以看出，仍然能夠得到類似表1以及圖3中給出的結(jié)論。

    上述的實(shí)驗(yàn)結(jié)果表明在相同的條件下，不管相機(jī)的焦距縮放范圍在×1～×10內(nèi)以及緯度角（絕對(duì)傾斜）在0°～80°范圍內(nèi)如何變化，本文算法都能得到比ASIFT算法多很多的正確匹配點(diǎn)對(duì)。

2.2 相對(duì)傾斜測(cè)試

    圖5顯示了相對(duì)傾斜測(cè)試實(shí)驗(yàn)的設(shè)置。對(duì)于圖6中的雜志分別設(shè)置相機(jī)使用一個(gè)固定的緯度角θ，對(duì)應(yīng)t=2和t=4，經(jīng)度角φ的變化范圍為0°~90°。相機(jī)的焦距和光軸縮放是×4。在每個(gè)設(shè)置中用作實(shí)驗(yàn)的圖像都有相同的絕對(duì)傾斜度t=2或者t=4，對(duì)應(yīng)的相對(duì)傾斜τ（相對(duì)于圖像在φ=0°）的范圍為1~t²=4或者16，而φ的范圍為0°~90°。

    表3顯示了用來(lái)匹配的兩幅圖像絕對(duì)傾斜度為t₁=2，t₂=2，φ₁=0°，φ和相對(duì)傾斜τ的取值為表中的第一列時(shí)的對(duì)比結(jié)果。其中所使用的實(shí)驗(yàn)圖像的大小均為400×300，表中的正確匹配點(diǎn)對(duì)數(shù)量都是經(jīng)過(guò)RANSAC算法處理得到的。

    表4顯示了在待匹配的兩幅圖像絕對(duì)傾斜度t₁=4，t₂=4，φ₁=0°，φ和相對(duì)傾斜τ的值取表中的第一列時(shí)的對(duì)比結(jié)果。其中所使用的實(shí)驗(yàn)圖像的大小均為400×300，表中的正確匹配點(diǎn)對(duì)數(shù)量都是經(jīng)過(guò)RANSAC算法處理得到的。

    圖7給出了兩個(gè)算法使用部分圖像得到的匹配結(jié)果，兩幅用來(lái)匹配的圖像是在t₁=2，t₂=2，φ₁=0°，φ₂=40°(τ=2.5)條件下得到的，正確匹配點(diǎn)對(duì)數(shù)是經(jīng)過(guò)RANSAC算法處理后得到的結(jié)果。

3 結(jié)論

    本文主要研究基于局部限定搜索區(qū)域的特征匹配算法，介紹了研究方向現(xiàn)狀，針對(duì)經(jīng)典算法ASIFT在特征匹配階段直接去除一對(duì)多、多對(duì)一的特征點(diǎn)的缺陷做出了改進(jìn)，提出局部限定搜索區(qū)域的特征匹配算法。在實(shí)驗(yàn)階段本文利用大量的實(shí)驗(yàn)詳細(xì)地對(duì)比了本文算法與ASIFT算法,結(jié)果顯示本文算法得到的匹配點(diǎn)對(duì)比ASIFT算法增加大約0.85倍左右。

    由于本文算法是在ASIFT算法得到的匹配結(jié)果上得到的，算法的匹配時(shí)間要比ASIFT算法較長(zhǎng)一些，接下來(lái)工作的重點(diǎn)是在保證得到大量的正確匹配點(diǎn)對(duì)數(shù)量的情況下，使算法的效率能夠大大提高。

參考文獻(xiàn)

[1] He Kaiming，Zhang Xiangyu，Ren Shanqing，et al.Deep residual learning for image recognition[C].2016 IEEE Conference on CVPR，2016.

[2] ZENG X，OUYANG W，WANG M，et al.Deep learning of scene-specific classifier for pedestrian detection[M].Computer Vision-ECCV 2014.Springer International Publishing，2014：472-487.

[3] VERGAUWEN M，GOOL L V.Web-based 3D reconstruction service[J].Machine Vision & Applications，2006，17(6)：411-426.

[4] SE S，LOWE D，LITTLE J.Vision-based mobile robot localization and mapping using scale-invariant features[C].IEEE International Conference on Robotics and Automation，2001.Proceedings.IEEE，2001，2：2051-2058.

[5] LOWE D G.Object recognition from local scale-invariant features[C].The Proceedings of the Seventh IEEE International Conference on Computer Vision.IEEE，2002：1150.

[6] 劉欣，李校林，謝燦，等.一種基于仿射變換的SURF圖像配準(zhǔn)算法[J].電子技術(shù)應(yīng)用，2014，40(6)：130-132.

[7] CUI C，NGAN K N.Global propagation of affine invariant features for robust matching[J].IEEE Transactions on Image Processing，2013，22(7)：2876-2888.

[8] TUYTELAARS T，GOOL L V.Matching widely separated views based on affine invariant regions[J].International Journal of Computer Vision，2004，59(1)：61-85.

[9] 彭興璇，唐雪嬌，董星.基于改進(jìn)SIFT算法在圖像匹配中的研究[J].微型機(jī)與應(yīng)用，2015，34(20)：36-38.

[10] LUO J，GWUN O.A comparison of SIFT，PCA-SIFT and SURF[J].International Journal of Image Processing，2009，3(4)：143-152.

[11] FISCHLER M A，BOLLES R C.Random sample consensus；a paradigm for model fitting with applications to image analysis and automated cartography[M].ACM，1981.

作者信息:

張振寧，李  征，鄭俊偉

（四川大學(xué) 計(jì)算機(jī)學(xué)院，四川 成都610065）