文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2015.10.038
中文引用格式: 隋修武,田松,余保付,等. 交通場(chǎng)景中的實(shí)時(shí)多目標(biāo)自動(dòng)跟蹤算法[J].電子技術(shù)應(yīng)用,2015,41(10):139-142,146.
英文引用格式: Sui Xiuwu,Tian Song,Yu Baofu,et al. Real time multi-objects automatic tracking algorithm in traffic scene[J].Application of Electronic Technique,2015,41(10):139-142,146.
0 引言
隨著城市化進(jìn)程的加快,交通狀況日益惡化,基于視頻的檢測(cè)和跟蹤逐漸成為受到關(guān)注的研究領(lǐng)域。目前目標(biāo)跟蹤技術(shù)的難點(diǎn)有數(shù)據(jù)的關(guān)聯(lián)問題、顏色的相似性、背景的穩(wěn)定性和復(fù)雜性、目標(biāo)尺寸的變化和實(shí)時(shí)性等[1-2]。目標(biāo)跟蹤常用的方法有:基于顏色特征的Meanshift和Camshift[3-4],基于貝葉斯估計(jì)的卡爾曼濾波[5],基于蒙特卡洛方法的粒子濾波[6-7],還有基于光流計(jì)算的光流跟蹤[8-9]。然而在跟蹤的過程中,如果目標(biāo)與背景顏色相近或目標(biāo)之間顏色相近,則基于顏色特征的跟蹤方法會(huì)失效;實(shí)際場(chǎng)景中目標(biāo)的運(yùn)動(dòng)比較復(fù)雜,而卡爾曼濾波器要求目標(biāo)具有線性高斯運(yùn)動(dòng)的特性,因此跟蹤效果不理想;粒子濾波在跟蹤多目標(biāo)時(shí),實(shí)時(shí)性是一個(gè)突出的問題,時(shí)間開銷會(huì)隨著目標(biāo)數(shù)的增多而呈指數(shù)性增長(zhǎng);光流分為稠密光流和稀疏光流,而稠密光流需要計(jì)算圖像中的所有像素點(diǎn),效率低。
針對(duì)以上問題,提出一種結(jié)合混合高斯模型和稀疏光流的多目標(biāo)跟蹤算法。
1 算法基本思想
本文算法框架如圖1所示,首先通過混合高斯模型進(jìn)行背景建模,背景差分獲得前景區(qū)域,形態(tài)學(xué)處理和濾波得到前景目標(biāo),同時(shí)在車輛進(jìn)入場(chǎng)景的入口處設(shè)定車輛檢測(cè)區(qū)域,進(jìn)行新目標(biāo)的進(jìn)入檢測(cè),從而確定進(jìn)入場(chǎng)景中目標(biāo)的個(gè)數(shù),這樣可以通過先驗(yàn)知識(shí)提前避免對(duì)整個(gè)場(chǎng)景進(jìn)行目標(biāo)的檢測(cè),提高效率的同時(shí)又能在后續(xù)非檢測(cè)區(qū)域進(jìn)行跟蹤時(shí)一定程度上規(guī)避目標(biāo)的合并與分離的問題;然后對(duì)檢測(cè)到的車輛目標(biāo)進(jìn)行Harris特征點(diǎn)的提取,用提取的特征點(diǎn)對(duì)目標(biāo)進(jìn)行標(biāo)識(shí),這樣不僅對(duì)噪聲不敏感,還可以抵抗光照變換帶來的影響;接著對(duì)提取的特征點(diǎn)進(jìn)行光流運(yùn)動(dòng)估計(jì),預(yù)測(cè)特征點(diǎn)的運(yùn)動(dòng)位置,然后在跟蹤的過程中適時(shí)地對(duì)目標(biāo)跟蹤模版進(jìn)行更新,從而保證了目標(biāo)跟蹤的準(zhǔn)確性和穩(wěn)定性;而且本算法采用無監(jiān)督的運(yùn)動(dòng)目標(biāo)檢測(cè)、提取和跟蹤,實(shí)現(xiàn)在視頻序列中自動(dòng)檢測(cè)并跟蹤多目標(biāo)。
2 新目標(biāo)檢測(cè)與提取
2.1 前景分割
利用混合高斯模型建立起背景圖像,通過當(dāng)前幀圖像與背景圖像的差分獲得包含運(yùn)動(dòng)目標(biāo)的前景圖像。由于背景建模的精確性,會(huì)有一些前景的像素沒有檢測(cè)出來,形成空洞,還有一些背景的像素由于誤檢測(cè)而被判定為前景,成為一些零星的噪聲點(diǎn)。所以需要對(duì)前景圖像進(jìn)行進(jìn)一步的處理,在對(duì)前景圖像進(jìn)行二值化操作之后,利用高斯濾波和中值濾波進(jìn)行平滑處理和去噪處理,這時(shí)得到的圖像再利用形態(tài)學(xué)處理使得前景區(qū)域更加完整。
2.2 新目標(biāo)的檢測(cè)
在視頻圖像上設(shè)定新目標(biāo)的進(jìn)入檢測(cè)區(qū)域,來捕捉新目標(biāo)的出現(xiàn)。在這過程中建立潛在目標(biāo)列表(potential_list),通過測(cè)量目標(biāo)的中心位置(xc,yc)記錄目標(biāo)的狀態(tài),用這個(gè)測(cè)量和新目標(biāo)建立關(guān)聯(lián)來定義新目標(biāo)的出現(xiàn),根據(jù)車輛相對(duì)場(chǎng)景的位置大小設(shè)立閾值(xT,yT),若|xc-xT|≤T或|yc-yT|≤T(T為常數(shù))則判定為新目標(biāo)出現(xiàn),然后用矩形框來擬合目標(biāo)輪廓,把擬合的矩形框加入到待跟蹤目標(biāo)列表(temp_list)當(dāng)中,得出運(yùn)動(dòng)目標(biāo)描述的矩形。
2.3 目標(biāo)提取與標(biāo)識(shí)
在捕捉到新目標(biāo)之后,就需要對(duì)新目標(biāo)建立跟蹤關(guān)系。由于車輛目標(biāo)為剛體且紋理豐富,可以提取出一定數(shù)量而且可以精確定位穩(wěn)定的特征點(diǎn),因此本文采用基于Harris特征點(diǎn)的數(shù)據(jù)關(guān)聯(lián)跟蹤,利用Harris特征點(diǎn)來標(biāo)識(shí)目標(biāo)。Harris特征檢測(cè)器是一種經(jīng)典的角點(diǎn)檢測(cè)方法,在紋理信息豐富的區(qū)域,Harris可以提取出大量有用的特征點(diǎn),而且Harris的計(jì)算公式中只涉及到一階導(dǎo)數(shù),因此對(duì)圖像旋轉(zhuǎn)、灰度變化、噪聲影響和視點(diǎn)變換不敏感。
3 多目標(biāo)的跟蹤
3.1 Lucas-Kanade(LK)光流
LK光流算法是一種應(yīng)用最廣泛的求稀疏光流的方法, LK光流算法基于以下三點(diǎn)假設(shè):
(1)亮度恒定,即像素在幀間運(yùn)動(dòng)時(shí),像素值保持不變;
(2)圖像的變化相對(duì)于時(shí)間的變化微小;
(3)在一個(gè)小的局部區(qū)域(n×n)內(nèi)像素運(yùn)動(dòng)一致,亮度恒定。
由假設(shè)(1)可得:
3.2 特征點(diǎn)聚類成目標(biāo)
通過光流運(yùn)動(dòng)估計(jì),在當(dāng)前幀中找到上一幀目標(biāo)框中的特征點(diǎn)在這一幀中的對(duì)應(yīng)位置,然后將這若干個(gè)特征點(diǎn)在相鄰兩幀之間的位移變化進(jìn)行排序,得到位移變化的中值(um,vm),把(um,vm)作為目標(biāo)中心點(diǎn)的位移變化,即目標(biāo)中心xci=xci-1+um,yci=yci-1+vm,計(jì)算特征點(diǎn)之間x向的最大距離Xmax和y向的最大距離Ymax。
3.3 模版更新策略
為了使跟蹤算法能夠適應(yīng)目標(biāo)自身的旋轉(zhuǎn)與尺度變化,需要在跟蹤過程中對(duì)目標(biāo)跟蹤模板進(jìn)行更新。令n0為目標(biāo)初始特征點(diǎn)個(gè)數(shù),ni為第i幀圖像中光流估計(jì)目標(biāo)區(qū)域內(nèi)的特征點(diǎn)個(gè)數(shù)。當(dāng)著時(shí)初步判斷需要更新模板。然后提取當(dāng)前幀目標(biāo)所在位置的前景區(qū)域,并用矩形框進(jìn)行擬合,矩形框面積用Si表示,Si-1表示上一幀目標(biāo)框的面積。若則說明目標(biāo)發(fā)生了遮擋,則暫時(shí)不進(jìn)行模版更新,否則會(huì)出現(xiàn)“漂移”現(xiàn)象,從而可能導(dǎo)致跟蹤目標(biāo)丟失,直到檢測(cè)到遮擋結(jié)束則繼續(xù)進(jìn)行模版更新,若則更新目標(biāo)區(qū)域,提取目標(biāo)特征點(diǎn),然后更新模版。模版更新流程如圖2所示。
4 實(shí)驗(yàn)結(jié)果與分析
為了驗(yàn)證本算法的有效性,分別對(duì)智能卡口、城市道路、高速公路3種不同的場(chǎng)景以及不同的視角進(jìn)行了多個(gè)運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)自動(dòng)跟蹤。
3種場(chǎng)景下的車輛跟蹤結(jié)果如圖3所示,可以看到本算法整體的跟蹤效果。如圖3(a)、3(c)所示,在跟蹤車輛的過程中生成目標(biāo)的運(yùn)動(dòng)軌跡;如圖3(c)所示,在車輛跟蹤的同時(shí),對(duì)車流量進(jìn)行了一個(gè)統(tǒng)計(jì)。如圖4(a)所示,被跟蹤車輛在發(fā)生轉(zhuǎn)彎時(shí)車輛發(fā)生較大形變導(dǎo)致原先的一部分特征點(diǎn)失效,直至跟蹤丟失。而在圖4(b)中,本文提出的跟蹤算法具備自檢能力則很好地解決了目標(biāo)發(fā)生形變時(shí)跟蹤失敗的問題。
表1記錄了不同視頻段的跟蹤情況,以及處理不同視頻段時(shí)的處理速度。圖5分別展示了3段視頻每幀的處理時(shí)間,可以看出處理時(shí)間呈階梯狀分布,階梯的高低表示處理目標(biāo)個(gè)數(shù)的不同,如表2所示。
5 結(jié)論
針對(duì)車輛的多目標(biāo)跟蹤中出現(xiàn)的難點(diǎn),本文提出一種車輛的實(shí)時(shí)自動(dòng)跟蹤算法,該算法利用GMM進(jìn)行背景建模,結(jié)合形態(tài)學(xué)濾波處理分割提取出前景目標(biāo),利用Harris特征點(diǎn)對(duì)目標(biāo)進(jìn)行標(biāo)識(shí),然后運(yùn)用特征光流運(yùn)動(dòng)估計(jì)進(jìn)行基于角點(diǎn)動(dòng)態(tài)特征的跟蹤,并在跟蹤的過程中適時(shí)進(jìn)行模版的自動(dòng)更新。實(shí)驗(yàn)結(jié)果表明,該方法也能很好地適應(yīng)目標(biāo)尺度的變化,通過設(shè)置車輛的存在和消失參數(shù),實(shí)現(xiàn)車輛運(yùn)動(dòng)目標(biāo)的自動(dòng)跟蹤,并具有較好的實(shí)時(shí)性。本文算法存在的一個(gè)局限是當(dāng)目標(biāo)個(gè)數(shù)過多或跟蹤目標(biāo)被嚴(yán)重遮擋時(shí),跟蹤效果則不是很理想。因此,在今后還需要對(duì)目標(biāo)遮擋跟蹤作進(jìn)一步的研究。
參考文獻(xiàn)
[1] YANG H,SHAO L,ZHENG F,et al.Recent advances and trends in visual tracking: a review[J].Neurocomputing,2011,74(18):3823-3831.
[2] 侯志強(qiáng),韓崇昭.視覺跟蹤技術(shù)綜述[J].自動(dòng)化學(xué)報(bào),2006,32(4):603-617.
[3] LI Z,TANG Q L,SANG N.Improved mean shift algorithm for occlusion pedestrian tracking[J].Electronics Letters,2008,44(10):622-623.
[4] 夏瑜,吳小俊,馮振華.基于特征貢獻(xiàn)度的Mean Shift 視頻跟蹤算法[J].控制與決策,2012,27(7):1021-1026.
[5] 戴洪德,陳明,周紹磊,等.基于支持向量機(jī)的自適應(yīng)卡爾曼濾波技術(shù)研究[J].控制與決策,2008,23(8):949-952.
[6] 陳金廣,馬麗麗,陳亮.基于邊緣粒子濾波的目標(biāo)跟蹤算法研究[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(28):128-131.
[7] 李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J].計(jì)算機(jī)學(xué)報(bào),2009,32(12):2454-2463.
[8] BRUHN A,WEICKERT J.Combining local and global opticflow methods[J].International Journal of Computer Vision,2005,61(3):211-231.
[9] TU D W,JIANG J L.Improved algorithm for motion image based on optical flow and its application[J].Optics Precision Engineering,2011,19(5):1159-1164.