文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.2015.10.038
中文引用格式: 隋修武,田松,余保付,等. 交通場景中的實時多目標自動跟蹤算法[J].電子技術應用,2015,41(10):139-142,146.
英文引用格式: Sui Xiuwu,Tian Song,Yu Baofu,et al. Real time multi-objects automatic tracking algorithm in traffic scene[J].Application of Electronic Technique,2015,41(10):139-142,146.
0 引言
隨著城市化進程的加快,交通狀況日益惡化,基于視頻的檢測和跟蹤逐漸成為受到關注的研究領域。目前目標跟蹤技術的難點有數據的關聯(lián)問題、顏色的相似性、背景的穩(wěn)定性和復雜性、目標尺寸的變化和實時性等[1-2]。目標跟蹤常用的方法有:基于顏色特征的Meanshift和Camshift[3-4],基于貝葉斯估計的卡爾曼濾波[5],基于蒙特卡洛方法的粒子濾波[6-7],還有基于光流計算的光流跟蹤[8-9]。然而在跟蹤的過程中,如果目標與背景顏色相近或目標之間顏色相近,則基于顏色特征的跟蹤方法會失效;實際場景中目標的運動比較復雜,而卡爾曼濾波器要求目標具有線性高斯運動的特性,因此跟蹤效果不理想;粒子濾波在跟蹤多目標時,實時性是一個突出的問題,時間開銷會隨著目標數的增多而呈指數性增長;光流分為稠密光流和稀疏光流,而稠密光流需要計算圖像中的所有像素點,效率低。
針對以上問題,提出一種結合混合高斯模型和稀疏光流的多目標跟蹤算法。
1 算法基本思想
本文算法框架如圖1所示,首先通過混合高斯模型進行背景建模,背景差分獲得前景區(qū)域,形態(tài)學處理和濾波得到前景目標,同時在車輛進入場景的入口處設定車輛檢測區(qū)域,進行新目標的進入檢測,從而確定進入場景中目標的個數,這樣可以通過先驗知識提前避免對整個場景進行目標的檢測,提高效率的同時又能在后續(xù)非檢測區(qū)域進行跟蹤時一定程度上規(guī)避目標的合并與分離的問題;然后對檢測到的車輛目標進行Harris特征點的提取,用提取的特征點對目標進行標識,這樣不僅對噪聲不敏感,還可以抵抗光照變換帶來的影響;接著對提取的特征點進行光流運動估計,預測特征點的運動位置,然后在跟蹤的過程中適時地對目標跟蹤模版進行更新,從而保證了目標跟蹤的準確性和穩(wěn)定性;而且本算法采用無監(jiān)督的運動目標檢測、提取和跟蹤,實現在視頻序列中自動檢測并跟蹤多目標。
2 新目標檢測與提取
2.1 前景分割
利用混合高斯模型建立起背景圖像,通過當前幀圖像與背景圖像的差分獲得包含運動目標的前景圖像。由于背景建模的精確性,會有一些前景的像素沒有檢測出來,形成空洞,還有一些背景的像素由于誤檢測而被判定為前景,成為一些零星的噪聲點。所以需要對前景圖像進行進一步的處理,在對前景圖像進行二值化操作之后,利用高斯濾波和中值濾波進行平滑處理和去噪處理,這時得到的圖像再利用形態(tài)學處理使得前景區(qū)域更加完整。
2.2 新目標的檢測
在視頻圖像上設定新目標的進入檢測區(qū)域,來捕捉新目標的出現。在這過程中建立潛在目標列表(potential_list),通過測量目標的中心位置(xc,yc)記錄目標的狀態(tài),用這個測量和新目標建立關聯(lián)來定義新目標的出現,根據車輛相對場景的位置大小設立閾值(xT,yT),若|xc-xT|≤T或|yc-yT|≤T(T為常數)則判定為新目標出現,然后用矩形框來擬合目標輪廓,把擬合的矩形框加入到待跟蹤目標列表(temp_list)當中,得出運動目標描述的矩形。
2.3 目標提取與標識
在捕捉到新目標之后,就需要對新目標建立跟蹤關系。由于車輛目標為剛體且紋理豐富,可以提取出一定數量而且可以精確定位穩(wěn)定的特征點,因此本文采用基于Harris特征點的數據關聯(lián)跟蹤,利用Harris特征點來標識目標。Harris特征檢測器是一種經典的角點檢測方法,在紋理信息豐富的區(qū)域,Harris可以提取出大量有用的特征點,而且Harris的計算公式中只涉及到一階導數,因此對圖像旋轉、灰度變化、噪聲影響和視點變換不敏感。
3 多目標的跟蹤
3.1 Lucas-Kanade(LK)光流
LK光流算法是一種應用最廣泛的求稀疏光流的方法, LK光流算法基于以下三點假設:
(1)亮度恒定,即像素在幀間運動時,像素值保持不變;
(2)圖像的變化相對于時間的變化微??;
(3)在一個小的局部區(qū)域(n×n)內像素運動一致,亮度恒定。
由假設(1)可得:
3.2 特征點聚類成目標
通過光流運動估計,在當前幀中找到上一幀目標框中的特征點在這一幀中的對應位置,然后將這若干個特征點在相鄰兩幀之間的位移變化進行排序,得到位移變化的中值(um,vm),把(um,vm)作為目標中心點的位移變化,即目標中心xci=xci-1+um,yci=yci-1+vm,計算特征點之間x向的最大距離Xmax和y向的最大距離Ymax。
3.3 模版更新策略
為了使跟蹤算法能夠適應目標自身的旋轉與尺度變化,需要在跟蹤過程中對目標跟蹤模板進行更新。令n0為目標初始特征點個數,ni為第i幀圖像中光流估計目標區(qū)域內的特征點個數。當著時初步判斷需要更新模板。然后提取當前幀目標所在位置的前景區(qū)域,并用矩形框進行擬合,矩形框面積用Si表示,Si-1表示上一幀目標框的面積。若則說明目標發(fā)生了遮擋,則暫時不進行模版更新,否則會出現“漂移”現象,從而可能導致跟蹤目標丟失,直到檢測到遮擋結束則繼續(xù)進行模版更新,若
則更新目標區(qū)域,提取目標特征點,然后更新模版。模版更新流程如圖2所示。
4 實驗結果與分析
為了驗證本算法的有效性,分別對智能卡口、城市道路、高速公路3種不同的場景以及不同的視角進行了多個運動目標的實時自動跟蹤。
3種場景下的車輛跟蹤結果如圖3所示,可以看到本算法整體的跟蹤效果。如圖3(a)、3(c)所示,在跟蹤車輛的過程中生成目標的運動軌跡;如圖3(c)所示,在車輛跟蹤的同時,對車流量進行了一個統(tǒng)計。如圖4(a)所示,被跟蹤車輛在發(fā)生轉彎時車輛發(fā)生較大形變導致原先的一部分特征點失效,直至跟蹤丟失。而在圖4(b)中,本文提出的跟蹤算法具備自檢能力則很好地解決了目標發(fā)生形變時跟蹤失敗的問題。
表1記錄了不同視頻段的跟蹤情況,以及處理不同視頻段時的處理速度。圖5分別展示了3段視頻每幀的處理時間,可以看出處理時間呈階梯狀分布,階梯的高低表示處理目標個數的不同,如表2所示。
5 結論
針對車輛的多目標跟蹤中出現的難點,本文提出一種車輛的實時自動跟蹤算法,該算法利用GMM進行背景建模,結合形態(tài)學濾波處理分割提取出前景目標,利用Harris特征點對目標進行標識,然后運用特征光流運動估計進行基于角點動態(tài)特征的跟蹤,并在跟蹤的過程中適時進行模版的自動更新。實驗結果表明,該方法也能很好地適應目標尺度的變化,通過設置車輛的存在和消失參數,實現車輛運動目標的自動跟蹤,并具有較好的實時性。本文算法存在的一個局限是當目標個數過多或跟蹤目標被嚴重遮擋時,跟蹤效果則不是很理想。因此,在今后還需要對目標遮擋跟蹤作進一步的研究。
參考文獻
[1] YANG H,SHAO L,ZHENG F,et al.Recent advances and trends in visual tracking: a review[J].Neurocomputing,2011,74(18):3823-3831.
[2] 侯志強,韓崇昭.視覺跟蹤技術綜述[J].自動化學報,2006,32(4):603-617.
[3] LI Z,TANG Q L,SANG N.Improved mean shift algorithm for occlusion pedestrian tracking[J].Electronics Letters,2008,44(10):622-623.
[4] 夏瑜,吳小俊,馮振華.基于特征貢獻度的Mean Shift 視頻跟蹤算法[J].控制與決策,2012,27(7):1021-1026.
[5] 戴洪德,陳明,周紹磊,等.基于支持向量機的自適應卡爾曼濾波技術研究[J].控制與決策,2008,23(8):949-952.
[6] 陳金廣,馬麗麗,陳亮.基于邊緣粒子濾波的目標跟蹤算法研究[J].計算機工程與應用,2010,46(28):128-131.
[7] 李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J].計算機學報,2009,32(12):2454-2463.
[8] BRUHN A,WEICKERT J.Combining local and global opticflow methods[J].International Journal of Computer Vision,2005,61(3):211-231.
[9] TU D W,JIANG J L.Improved algorithm for motion image based on optical flow and its application[J].Optics Precision Engineering,2011,19(5):1159-1164.