文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.166289
中文引用格式: 李校林,李銀,何強. 一種改進的航拍圖像序列自動排序算法[J].電子技術(shù)應用,2017,43(9):137-140.
英文引用格式: Li Xiaolin,Li Yin,He Qiang. An improved automatic sorting algorithm for aerial image sequences[J].Application of Electronic Technique,2017,43(9):137-140.
0 引言
近年來,由于無人機航拍具有高靈活性、高效率以及低成本的優(yōu)勢,已經(jīng)被廣泛應用于自然災害評估、戰(zhàn)場偵察、環(huán)境監(jiān)測等領(lǐng)域[1-2]。為了擴大視野、全面了解和分析拍攝信息,有效的圖像拼接技術(shù)非常重要。通過無人機遙感平臺獲得的圖像具有數(shù)據(jù)量大、相位振幅小、重疊度高等特點,在后期處理圖像時很容易混亂圖像序列的次序,這樣會給后續(xù)的圖像配準和融合帶來一定的困擾,不能達到理想的拼接效果。而目前很多的拼接涉及的算法[3-4]都要求人為地將圖像序列排好才能進行有效的拼接,這樣的人工設(shè)定是非常耗時的,特別是對航拍圖像數(shù)據(jù)來說,不能滿足實時性的要求。
利用計算機來完成圖像序列的自動排序技術(shù)已經(jīng)被提出,并且得到廣泛的研究[5-9]。文獻[6]提出了一種利用等距離匹配的思路來實現(xiàn)圖像序列的自動排序,該方法不僅計算量大,對各種干擾環(huán)境的魯棒性也較差。文獻[7]利用相位相關(guān)法來實現(xiàn)圖像序列的自動排序,該方法具有一定的抗干擾能力,但是需要人工選定閾值,算法的適應和自動性明顯降低。文獻[8]利用相位相關(guān)法圖像間的相關(guān)性來判別位置關(guān)系,但是要求序列圖像的大小必須相同,且圖像的位置關(guān)系的確定說明的不夠明了。文獻[9]利用尾部補零的方法使圖像大小相同,再運用相位相關(guān)法排序圖像,但該方法在增加了算法復雜度的同時,又沒有考慮旋轉(zhuǎn)因素的影響。本文在總結(jié)相位相關(guān)法的基礎(chǔ)上,針對無人機獲取的遙感圖像存在平移、旋轉(zhuǎn)、尺度縮放的情形,提出了利用對數(shù)極坐標的方式來表示圖像間的關(guān)系,建立圖像序列排序模型并通過公式推導驗證,突破了圖像大小相同的限制,增強了算法的適用范圍。
1 相位相關(guān)法原理
相位相關(guān)方法是基于二維傅里葉變換的特性,即空域平移相當于頻域。1975年,KUGLIN C和HINES D[10]發(fā)現(xiàn)相位相關(guān)方法與場景無關(guān),可以準確地在良好條件下對二維平移圖像進行對齊。相位相關(guān)法通過利用傅里葉變化變換得到互功率譜的相位信息,其對圖像的灰度信息依賴性較小,因此具有一定的抗干擾能力,設(shè)計流程圖如圖1。
相位相關(guān)法原理可描述為:
設(shè)兩幅圖像A(x,y)和B(x,y),它們之前僅存在著平移關(guān)系,相對水平、垂直平移量為x0、y0,則有:
在空間域中找出式(4)中沖擊函數(shù)對應的峰值位置,其值反映了兩幅圖像的相關(guān)性,同時確定平移參數(shù)(x0,y0)。當圖像間有噪音、復雜透視,甚至存在運動物體時,沖擊函數(shù)的能量會從單一峰值分布到其他小峰值上,但是最大峰值所在的位置仍然具有一定的穩(wěn)定性,保證了平移量的不變性。
圖2(a)和圖2(b)是具有重疊區(qū)域的低空航拍圖像,大小為500×750,圖2(c)和圖2(d)分別為圖2(a)、圖2(b)加入高斯噪聲(均值為0、方差為10)后對應的灰度圖像。圖3(a)是圖2(a)、圖2(b)運用相位相關(guān)法在空間域中檢測到的沖擊函數(shù)δ,圖3(b)是圖2(c)、圖2(d)運用相位相關(guān)法在空間域中檢測到的沖擊函數(shù)δ。從圖3中可以看出,利用相位相關(guān)法檢測到的δ峰值點對噪聲具有一定的抗干擾能力,并且可以計算水平量(124,23),表示圖2(b)相對于圖2(a)右移124 pixel,上移為23 pixel。
2 改進相位相關(guān)算法方案
上節(jié)介紹經(jīng)典的相位相關(guān)法嚴格要求待排序的圖像尺寸大小相同,通過對互功率譜進行逆傅里葉變換得到的歸一化相關(guān)系數(shù)是一個與f1(x,y)、f2(x,y)大小相同的矩陣,所以存在左右平移的混淆問題。同時,對于從傳感器中提取出來的航拍圖像,不僅包含平移、旋轉(zhuǎn),還極大可能存在尺度縮放的情況。本文提出對數(shù)極坐標的方式來表示兩幅待匹配圖像的關(guān)系,建立了旋轉(zhuǎn)、平移、尺度變換的排序模型,增強了算法的適用范圍。
原理描述:定義兩幅待拼接圖像間的平移參量x0、y0,旋轉(zhuǎn)角度α,縮放因子σ,則f1(x,y)和f2(x,y)的位置關(guān)系可表示為:
式(10)轉(zhuǎn)化成了同式(1)簡單平移類似的形式,采用上節(jié)普通的相位相關(guān)法可以計算出旋轉(zhuǎn)角度α=α0。
(2)當確定下來旋轉(zhuǎn)角度α0時,同樣代入式(9)中得:
同樣,式(13)化為與式(1)類似的形式,運用普通的相位相關(guān)法可以計算出n和旋轉(zhuǎn)因子σ。
至此把計算出的旋轉(zhuǎn)角度α0和縮放因子σ0代回到式(5)中,再次運用相位相關(guān)法就可以計算出平移參數(shù)。
根據(jù)上述原理可設(shè)計改進相位相關(guān)算法方案流程圖,如圖4。
3 序列圖像的自動排序算法
假設(shè)有N幅待拼接的圖像,根據(jù)改進的相位相關(guān)算法方案,設(shè)計以下自動排序算法:
(1)構(gòu)建二維最大相關(guān)度數(shù)組。對每一幅圖像根據(jù)上節(jié)提出的相位相關(guān)算法計算與其他圖像的歸一化互功率譜,并求得其逆傅里葉變換的峰值作為圖像間的相關(guān)度,這樣每一幅圖像可到N-1個相關(guān)度,從而建立N×N的二維數(shù)組用來存儲圖像間的相關(guān)度。
(2)確定頭圖像和尾圖像。對于每一幅至少會與其中一幅圖像相鄰(頭圖像和尾圖像),最多會與其中兩幅圖像相鄰(中間圖像)。而兩幅相鄰的圖像,其δ脈沖函數(shù)在空間域中對應著非常尖銳的峰值,即為最大相關(guān)度,根據(jù)該峰值就可以計算出兩幅圖像間的平移參量。因此按照每一幅圖像數(shù)列的行、列找出2個最大相關(guān)度,可以得到2N個最大的相關(guān)度。而對于頭、尾兩幅圖像僅與一幅圖像相鄰,其最大相關(guān)度明顯大于其他相關(guān)度,則其對應的圖像即為頭圖像和尾圖像。如果該圖像的最大相關(guān)度對應的水平平移量Δx<0,則其為頭圖像;反之,為尾頭像。
(3)確定相鄰兩幅圖像的左右關(guān)系。順著頭圖像根據(jù)最大相關(guān)度對應的平移量可依次確定整個圖像鏈,如果x0>0,則圖像應該排在右邊,反之排在左邊。
由此得到的序列圖像對應于相機由左向右拍攝的結(jié)果。
4 實驗結(jié)果與分析
通過無人機自動拍攝獲得的視頻序列圖像,從每30幀的視頻序列中提取1幀用于拼接,從實驗中使用的150幀中選擇5幀,初始空間圖像方向角度為60°,初始接觸中心點為圖像的中心點。5個重疊無序的UAV圖像序列如圖5所示,其中有323×370、224×256、313×302 3種大小類型的圖像,并且這些圖像之間存在著明顯的平移、旋轉(zhuǎn)和縮放,運用上述提出的相位相關(guān)法計算出兩兩圖像間的相關(guān)度,統(tǒng)計數(shù)據(jù)如表1,根據(jù)最大相關(guān)度可優(yōu)先確定頭圖像和尾圖像(在表中用*標出);同時計算出每幅圖像最大相關(guān)度的相關(guān)圖像之間的水平平移量,如表2,根據(jù)平移量的大小可確定兩幅圖像的左右關(guān)系,從而完成實驗圖像序列的自動排序排序,排序后的圖像序列如圖6。從實驗結(jié)果上可以看出,本文提出的相位相關(guān)算法不僅避免了人工設(shè)定閾值以及左右圖像混淆問題,同時克服了對序列圖像大小一致的限制,增強了算法的適用范圍。由于算法在頻域中計算相關(guān)度時耗時較大,可借助FFT的方法。并且改進后的算法可直接得出圖像間的平移參數(shù),這對圖像拼接的后續(xù)的關(guān)鍵技術(shù)具有很大研究價值。
5 結(jié)論
本文根據(jù)航拍圖像的特征提出了一種改進的相位相關(guān)算法方案,實現(xiàn)了序列圖像的自動排序。主要采用對數(shù)極坐標的方式表示圖像間平移、旋轉(zhuǎn)、縮放的復雜關(guān)系,突破了已有算法對圖像尺寸的限制,并給出了算法實現(xiàn)的具體方案。通過最大相關(guān)度的確定序列頭、尾圖像,再利用峰值所在坐標確定平移參數(shù),根據(jù)給定的準則判斷圖像左右位置關(guān)系,避免了人工干預。實驗證明,該算法能夠快速有效地完成航拍圖像序列的自動排序,為全景圖像拼接奠定了一定的基礎(chǔ)。
參考文獻
[1] Wu Bin,Yang Jian.A method of obtaining accurate active area of remote sensing image and application in mosaicking[C].Remote Sensing, Environment and Transportation Engineering(RSETE),2012 2nd International Conference,2012:1-4.
[2] 徐麗艷.基于特征點的遙感圖像配準方法及應用研究[D].南京:南京理工大學,2012.
[3] LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.
[4] BAY H,ESS A,TUYTELAARS T,et al.Speeded up robust features(SURF)[J].Computer Vision & Image Understanding,2008,110(3):346-359.
[5] SONG R,SZYMANSKI J.Auto-sorting scheme for image ordering application in image mosaicing[J].Electronics Letters,2008,44(13):798-799.
[6] 華順剛,曾令宜,歐宗瑛.一種快速的柱面全景圖像拼接算法[J].數(shù)據(jù)采集與處理,2006(4):434-438.
[7] 趙輝,陳輝,于泓.一種改進的全景圖自動拼接算法[J].中國圖象圖形學報,2007(2):336-342.
[8] 趙萬金,龔聲蓉,劉全,等.一種用于圖像拼接的圖像序列自動排序算法[J].中國圖象圖形學報,2007(10):1861-1864.
[9] 吳憲祥,郭寶龍,王娟.一種改進的序列圖像自動排序算法[J].光電子·激光,2009(8):1114-1117.
[10] KUGLIN C,HINES D.The phase correlation image alignment method[C].Conference on Cybernetics and Society,1975:163-165.
作者信息:
李校林1,2,李 銀1,何 強1
(1.重慶郵電大學 通信新技術(shù)應用研究中心,重慶400065;2.重慶信科設(shè)計有限公司,重慶400065)