文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.2017.01.038
中文引用格式: 潘振福,許靜,劉成,等. 基于視覺目標跟蹤的PTZ控制方法[J].電子技術(shù)應(yīng)用,2017,43(1):145-147.
英文引用格式: Pan Zhenfu,Xu Jing,Liu Cheng,et al. The method of controlling PTZ camera based on visual object tracking[J].Application of Electronic Technique,2017,43(1):145-147.
0 引言
PTZ(Pan/Tilt/Zoom)攝像頭是將CCD攝像機、變焦變倍鏡頭、全景云臺等部件集成在一個單元中構(gòu)成的攝像機系統(tǒng)。傳統(tǒng)的PTZ攝像機監(jiān)控系統(tǒng)通過人工操控鍵盤或者搖桿對監(jiān)控目標進行跟蹤,如果目標較遠,通過手動控制鏡頭變焦,這種人工操控的方式跟蹤誤差太大,造成系統(tǒng)攝像不穩(wěn)定、不連續(xù)。近年來,基于主動視覺的PTZ攝像機系統(tǒng)逐漸發(fā)展,陳雙葉等人提出基于Camshift算法和卡爾曼濾波器目標跟蹤算法的PTZ攝像機控制方法[1],簡單地采用顏色直方圖作為跟蹤匹配特征,容易受到光照變化、運動模糊遮擋等因素影響而造成跟蹤失敗。WANG S等人提出的高斯混合模型目標檢測定位方式的PTZ控制方法僅僅解決了鏡頭對焦問題[2]。而DONG E等人除了應(yīng)用高斯混合模型目標檢測之外,還融合了Kalman濾波器與Camshift算法對目標進行跟蹤,從而控制PTZ攝像機[3],相比近年來先進的目標跟蹤技術(shù),這些跟蹤算法相對落后,其性能容易受眾多因素影響,包括光照變化、遮擋和背景混雜等。在視覺目標追蹤(The Visual Object Tracking,VOT)2014年挑戰(zhàn)結(jié)果[4]中顯示,基于分類相關(guān)濾波器的跟蹤器是目前最優(yōu)秀的目標跟蹤算法之一,提供了先進的跟蹤性能。HENRIQUES J F等使用了梯度方向直方圖(HOG)特征,提出了核相關(guān)濾波器(Kernelized Correlation Filter,KCF)及雙相關(guān)濾波器(Double Correlation Filter,DCF)跟蹤器[5],運算速度能達到300 b/s以上。
本文采用KCF目標跟蹤方法作為控制算法核心對運動目標進行跟蹤,并采用粒子濾波框架對目標進行運動狀態(tài)預(yù)測,根據(jù)跟蹤結(jié)果使用PID算法對PTZ攝像機進行協(xié)調(diào)控制。
1 PTZ攝像機系統(tǒng)架構(gòu)
本文中的PTZ攝像機系統(tǒng)由云臺攝像機、視頻采集卡以及運行PTZ控制系統(tǒng)的上位機組成,如圖1所示。
由視頻采集卡從攝像頭采集回來的圖像傳入算法中進行跟蹤運算,通過RS232轉(zhuǎn)RS485串口遵循PELCO-D協(xié)議控制PTZ攝像機轉(zhuǎn)動,保持跟蹤目標在視頻圖像中。PELCO_D協(xié)議定義了水平旋轉(zhuǎn)、上下旋轉(zhuǎn)、變焦變倍等功能。
2 目標跟蹤方法
在KCF跟蹤算法中,以核嶺回歸分類器作為核心,用循環(huán)移位方法致使樣本變換,建立循環(huán)矩陣來訓(xùn)練該分類器,然后把目標與周圍背景區(qū)分開來,從而達到對目標快速有效檢測跟蹤的目的。對樣本進行巧妙地變換使訓(xùn)練數(shù)據(jù)矩陣具有循環(huán)特性,就可以通過離散傅里葉變換對角化,便能減少幾個數(shù)量級的存儲與計算,這就是文獻[5]提出的核嶺回歸相關(guān)濾波器(Kernelized Correlation Filter,KCF),具有其他核算法沒有的線性復(fù)雜度。
2.1 嶺回歸分類器
針對線性嶺回歸判別函數(shù)f(z)=wTz,訓(xùn)練的目的是利用樣本xi找到一個權(quán)值wi對回歸目標yi最小平方誤差:
其中λ是正則化參數(shù),控制過度擬合。根據(jù)文獻[6]得到最優(yōu)解:
由式(4)可知,需要優(yōu)化的變量是α,而并不是w。
核嶺回歸問題的解由文獻[9]給出:
2.2 循環(huán)矩陣
對樣本x進行移位變換,可以獲得循環(huán)矩陣X,即:
矩陣X完全由指定的樣本向量x(這里的第一行)循環(huán)移位生成。無論生成向量x為何值,所有循環(huán)矩陣都能被離散傅里葉變換(DFT)矩陣對角化[10]。也就是:
2.3 核相關(guān)分類器訓(xùn)練
只要滿足文獻[5]提出的定理1的核函數(shù)的核矩陣K具有循環(huán)結(jié)構(gòu),所以:
2.4 目標快速檢測
為了檢測出感興趣物體,通常用回歸函數(shù)f(z)去評估目標在多個圖像中位置信息,從而估計出目標位置。把包含目標圖像且比目標尺寸大的圖像塊作為搜索窗口,對此搜索窗口進行循環(huán)移位,形成不同的候選圖像塊,然后建模成循環(huán)結(jié)構(gòu)的循環(huán)矩陣。
假設(shè)核矩陣Kz由匹配模板和搜索窗口樣本核相關(guān)所得。因為匹配模板X和檢測樣本Z是基于元素向量x和z移位變換的循環(huán)結(jié)構(gòu)矩陣,相應(yīng)的,Kz的每個元素是由κ(pi-1z,pj-1x)組成,根據(jù)文獻[5]的定理1可以驗證這個矩陣是一個循環(huán)核矩陣。與上一節(jié)相似,只需第一行元素來表示核矩陣:
其中kXZ是前面定義的x與z的核相關(guān)運算。可以把回歸函數(shù)表示為:
注意到f(z)是一個矩陣元素z向量的所有移位變換形式的輸出響應(yīng),為了更有效地計等式(13),得到對角化后的等式:
3 實驗分析
在QT5平臺上完成PTZ攝像頭系統(tǒng)上位機端的C++實現(xiàn),運用了OPENCV庫。
3.1 跟蹤質(zhì)量評估
在實驗室環(huán)境下,運行結(jié)果如圖2所示,運動目標被完全遮擋的情況下,跟蹤算法仍然很穩(wěn)定。
3.2 PTZ控制質(zhì)量實驗
上位機通過RS232轉(zhuǎn)RS485轉(zhuǎn)串口與PTZ攝像頭相連,遵循PELCO_D協(xié)議控制??刂平Y(jié)果如圖3所示。圖中中間位PTZ攝像頭貼有白色的標識,以便明顯看到其轉(zhuǎn)動,圖中右下角為攝像頭跟蹤的圖像。結(jié)果顯示,其能始終保持跟蹤目標在圖像中。
4 結(jié)論
針對目前現(xiàn)有的主動視覺的PTZ攝像頭控制系統(tǒng)的跟蹤性能較差、導(dǎo)致跟蹤丟失等問題,提出了一種基于核相關(guān)視覺目標跟蹤器的PTZ攝像機控制方法,并在QT平臺上應(yīng)用OPENCV庫實現(xiàn)了PTZ攝像機控制系統(tǒng)的C++版。實驗結(jié)果驗證了本系統(tǒng)的穩(wěn)定性與魯棒性。
參考文獻
[1] 陳雙葉,王善喜.PTZ攝像機跟蹤運動目標的智能控制算法的研究[J].計算機科學(xué),2015(S2):135-139.
[2] WANG S,TIAN Y,XU Y.Automatic control of PTZ camera based on object detection and scene partition[C].IEEE International Conference on Signal Processing,Communications and Computing.IEEE,2015.
[3] DONG E,YAN S,TONG J,et al.Design and implementation of a moving object tracking system[C].IEEE International Conference on Mechatronics and Automation.IEEE,2015.
[4] KRISTAN M,PFLUGFELDER R,LEONARDIS A,et al.The visual object tracking VOT2014 challenge results[C].Lecture Notes in Computer Science,2014:191-217.
[5] HENRIQUES J F,CASEIRO R,MARTINS P,et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,37(3):1-1.
[6] RIFKIN R,YEO G,POGGIO T.Regularized least-squares classification[J].Nato Science Series Sub Series III Computer and Systems Sciences,2003,190(1):93-104.
[7] MULLER K R,MIKA S,TSUDA K.An introduction to kernel-based learning algorithms[J].IEEE Transactions on Neural Networks,2001,12(2):181-201.
[8] SCH?魻LKOPF B,SMOLA A.Learning with kernels:Support vector machines,regularization,optimization,and beyond[M].MIT Press,2002.
[9] RIFKIN R,YEO G,POGGIO T.Regularized least-squares classification[J].Acta Electronica Sinica,2003,190(1):93-104.
[10] GRAY R M.Toeplitz and circulant matrices:a review[M].Now Publishers,2006.
作者信息:
潘振福,許 靜,劉 成,朱永利
(華北電力大學(xué) 計算機系,河北 保定071003)