文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.2016.09.002
中文引用格式: 劉亞偉,李小民,楊森. 基于CamShift融合局部特征匹配的無人機目標跟蹤研究[J].電子技術應用,2016,42(9):6-9.
英文引用格式: Liu Yawei,Li Xiaomin,Yang Sen. Research of UAV target tracking based on CamShift fused local feature matching[J].Application of Electronic Technique,2016,42(9):6-9.
0 引言
隨著科學技術的發(fā)展,無人機技術得到快速提高并廣泛應用于軍用和民用領域。目標跟蹤作為無人機領域的一項重要課題受到了廣泛關注。目前常見的目標跟蹤算法有:均值漂移法、粒子濾波法、卡爾曼濾波法、特征點匹配法等。由于均值漂移(MeanShift)的目標跟蹤算法[1]具有計算簡單、實時性好、易于實現(xiàn)等特點,因此在現(xiàn)實生活中應用最為廣泛。但是CamShift[2]最大的缺陷就是只采用顏色信息,造成跟蹤特征單一,易受到顏色相似目標和背景的干擾,同時對較大的尺度變化和遮擋情況較敏感。特征匹配算法[3]由于其魯棒性較強的原因近年來同樣受到廣泛關注,并廣泛應用于醫(yī)學、航天等領域。但是一個不足之處就是特征匹配算法隨著圖像復雜度的增加圖像匹配的快速性隨之降低。針對以上問題,本文提出了一種基于CamShift融合特征匹配的目標跟蹤算法,提高了CamShift算法對相似顏色背景(或)目標的干擾,并增加了對尺度變化和遮擋的魯棒性。
1 局部特征匹配算法的選取
目前常用的局部特征匹配算法有SIFT[4]算法,SURF[5]算法,ORB[6]算法,BRISK[7]算法和FREAK[8]算法。本文通過比較以上五種算法,來評價五種算法的綜合性能。
1.1 特征檢測性能測試
測試數(shù)據(jù):待測試圖像如圖1所示。
測試方法:在相同的硬件和軟件環(huán)境下,運用不同的檢測子,對相同圖像進行特征點檢測,分別計算出檢測時間和檢測到特征點的個數(shù),比較結果見表1。
衡量標準:檢測子檢測得到的特征點數(shù)越多,所用時間越少,表示檢測子性能越好。而考慮特征點數(shù)與檢測時間的比值,可以衡量各檢測子的綜合性能。
1.2 描述子性能比較
測試數(shù)據(jù):同檢測子性能評估測試數(shù)據(jù)一樣,圖像如圖1所示。
測試方法:在相同的硬件和軟件環(huán)境下,首先對同一圖像進行特征檢測,所使用的檢測算子是SIFT檢測子,再用不同的描述子進行特征描述,計算出各特征描述子所用的時間,比較結果見表2。
衡量標準:在測試數(shù)據(jù)和特征檢測子一定的情況下,特征描述子的速度越快表示實時性越高,性能越好。
由表1和表2可得,BRISK算法無論是在特征點檢測階段和特征點描述階段,都表現(xiàn)出了較好的性能,另外,由于BRISK采用二進制字符串進行特征描述,所以,在特征匹配階段與SIFT和SURF采用的歐式距離匹配形式相比,漢明距離匹配速度更快。所以本文選用BRISK局部特征匹配算法對CamShift算法進行改進。
2 CamShift算法
MeanShift算法是一種基于核密度估計的非參數(shù)模式匹配算法。CamShift是MeanShift算法的應用推廣。首先手動選取待跟蹤目標區(qū)域,使用MeanShift顏色直方圖信息作為模板,再提取下一幀圖像的顏色直方圖,進行直方圖匹配,通過計算相似度獲得相似度密度分布圖,圖中的極值位置即為目標的位置。
CamShift算法的跟蹤流程如圖2所示。
3 改進算法關鍵技術簡介
針對CamShift算法易受相似顏色目標和背景的干擾和對尺度變化和遮擋敏感的問題,本文采用CamShift融合BRISK的方法進行目標跟蹤。該算法在CamShift跟蹤正常的情況下,BRISK算法不介入,一旦CamShift跟蹤失敗,即前后兩幀目標區(qū)域顏色直方圖相差較大,BRISK算法馬上介入。在匹配過程中,采用RANSAC[9]算法來進行誤匹配點剔除處理從而獲得正確匹配點對。當匹配成功時,標出目標區(qū)域,這時再次啟動CamShift跟蹤算法,提取該區(qū)域顏色直方圖并繼續(xù)進行跟蹤。
分別設置前后兩幀的顏色直方圖信息H(i-1)和H(i)利用Bhattacharyya距離[10]進行相似程度判斷,Bhattacharyya越大,則越相似。若dBhttacharyya(Hi-1,Hi)≤0.6則說明CamShift跟蹤失敗,一旦跟蹤失敗,把前一幀圖像目標區(qū)域作為模板,通過BRISK算法在后續(xù)視頻幀中進行目標匹配操作,直到匹配成功,并找到目標區(qū)域。
3.1 特征點重心偏移
記BRISK特征匹配后,P={(xi,yi),Vi}分別表示目標區(qū)域的特征點集和CamShift跟蹤區(qū)域的特征點集,其中i=1,2,…,N。CamShift跟蹤區(qū)域與目標區(qū)域的重心平均偏移量可表示為:
3.2 BRISK跟蹤結果
當前跟蹤區(qū)域為r={x0,y0,v,h},(x0,y0)為跟蹤矩形框的中心坐標,h和v分別表示矩形框的水平和垂直方向半徑。用r′表示BRISK跟蹤區(qū)域,則:
3.3 融合
融合BRISK和CamShift的跟蹤區(qū)域用r″表示,則:
其中權系數(shù)介于0~1之間。
4 實驗結果及分析
實驗選用HERO運動相機拍攝視頻,分別用CamShift和改進算法(基于CamShift融合BRISK的目標跟蹤算法)進行對比測試。實驗是在VS2010開發(fā)平臺上,利用VC++語言和開源代碼OpenCV聯(lián)合編程實現(xiàn)。其中硬件系統(tǒng):處理器為Inter(R)Core(TM) i3 CPU M390@2.67 GHz,內存為4.00 GB,硬盤為500 GB,操作系統(tǒng)為Windows 7。
4.1 目標受相似目標干擾下的目標跟蹤效果
本實驗采用停車場航拍視頻進行測試,測試結果如圖3和圖4所示。
圖3和圖4分別為原始CamShift算法和本文改進CamShift算法(融合CamShift和特征匹配的目標跟蹤算法)在航拍停車場視頻中對車輛跟蹤的效果圖。原始CamShift算法在車輛經過與目標顏色相似的車輛時(如圖3,第60幀—第110幀),算法將相似車輛誤認為跟蹤目標跟蹤窗口出現(xiàn)了明顯的擴散,跟蹤效果明顯變差。改進CamShift算法在經過顏色相似車輛時,跟蹤窗口也出現(xiàn)了擴散,但是改進算法跟蹤窗口的擴散較原始算法有較大改善,能夠基本達到對目標車輛的準確跟蹤。
本文用Bhattacharry系數(shù)(BH系數(shù))作為目標跟蹤準確度的衡量標準,目標模板與候選模板的相似度可用BH系數(shù)來表示,BH系數(shù)為0~1之間的一個數(shù)值,該數(shù)值越大,表示目標模板與候選模板的相似程度越高,即跟蹤準確性越高。測試結果如圖5所示。
圖5所示,當目標接近顏色相似車輛時,CamShift算法跟蹤框發(fā)生明顯變化,導致BH系數(shù)具有較大幅度下降,當目標通過干擾區(qū)域時,跟蹤框恢復正常,BH系數(shù)恢復正常。而本文改進跟蹤算法對增強可跟蹤算法對相似目標干擾的抗干擾性,當目標經過干擾目標,BH系數(shù)只具有小幅度變化。
4.2 目標遮擋情況下的目標跟蹤
本實驗采用車輛越野航拍視頻進行測試,測試結果如圖6和圖7所示。
圖6和圖7是原始CamShift算法和本文改進算法對航拍越野車輛視頻中車輛目標的跟蹤效果圖。當目標發(fā)生部分遮擋或全部遮擋時,對原始CamShift算法影響較大,當目標發(fā)生遮擋的情況下,跟蹤效果明顯下降,跟蹤框明顯擴散,甚至導致跟蹤失?。ㄈ鐖D6,第1 560幀~第1 600幀)。本文改進算法由于融合了CamShift和BRISK算法,通過顏色特征和目標局部特征共同定位增強了原始算法對目標遮擋的魯棒性,跟蹤效果有較大改善如圖7所示。
本文采用有效幀率對目標被遮擋情況下算法跟蹤效果進行測試,有效幀率是指視頻跟蹤過程中有效跟蹤的幀數(shù)與總幀數(shù)的比值,用來衡量跟蹤算法的有效性。判斷某一幀是否為有效幀的方法可采用BH系數(shù)法,當BH系數(shù)小于某一閾值時,即認為該幀為跟蹤無效幀,本實驗取值為0.5。本實驗從第1 450幀進行測試,到1 700幀共250幀,測試結果如表3所示。
由表3可知,改進算法相比于原始CamShift算法跟蹤精度明顯提高,有效幀率提高近27%。
5 結論
針對CamShift無人機目標跟蹤算法對跟蹤過程中相似目標或背景干擾和目標遮擋問題魯棒性差的問題,提出了一種融合CamShift算法和BRISK算法的目標跟蹤算法,并分別對CamShift算法和改進算法在相似目標干擾和遮擋情況下的跟蹤效果進行測試。實驗結果表明,改進算法顯著增強了CamShift算法相似目標干擾和目標被遮擋條件下跟蹤的魯棒性,并提高了CamShift跟蹤算法的跟蹤準確性。
參考文獻
[1] 楊輝,劉軍,阮松.基于Mean Shift算法視頻跟蹤研究[J].計算機工程與設計,2013,34(6):2062-2066.
[2] 覃虎躍,支琤,徐奕.基于三維直方圖的改進CamShift目標跟蹤算法[J].現(xiàn)代電子技術,2014,37(2):29-33.
[3] 曹建,謝曉方,付霖宇,等.基于兩步位操作匹配的實時目標識別跟蹤算法[J].彈箭與制導學報,2013,33(2):125-128.
[4] KE Y,SUKTHANKAR R.PCA-SIFT:a more distinctiverepresentation for local image descriptors[C].Proceedings ofthe IEEE Computer Society Conference on Computer Visionand Pattern Recognition.Los Alamitos:IEEE Computer Soci-ety Press,2004:506-513.
[5] BAY H,ESS A,TUYTELAARS T,et al.Speeded up robustfeatures(SURF)[J].Computer Vision and Image Understand-ing,2008,110(3):346-359.
[6] RUBLEE E,RABAUD V,KONOLIGENCE K et al.ORB:Asufficient alternative to SIFT or SURF[C].2011 InternationalConference on Computer Vision,Barcelina,Spain,2011:2564-2570.
[7] LEUTENEGGER S,CHLI M,SIEGWART R.BRISK:Binaryrobust invariant scalable keypoints[C].Proceedings of theIEEE International Conference on Computer Vision(ICCV),2011.
[8] Alahi A,Ortiz R,Vandergheynst P.FREAK:Fast RetinaKeypoint[C].IEEE Conference on Computer Vision andPattern Recognition(CVPR),2012.
[9] 周凱汀,鄭力新.基于改進ORB特征的多姿態(tài)人臉識別[J].計算機輔助設計與圖形學學報,2015(2):287-290.
[10] 劉玉.基于特征點的運動目標跟蹤技術研究[D].南京:南京航空航天大學,2011:38-46.