文獻標識碼: A
文章編號: 0258-7998(2012)03-0145-04
將視頻中的運動前景從背景中檢測出來是目標跟蹤、現(xiàn)場監(jiān)控、行為分析等應(yīng)用的基礎(chǔ)。目前,高斯混合模型(GMM)[1]和核密度估計模型(KDE)[2]是背景建模的兩種常用方法,兩者都考慮了每個像素的多模態(tài)特征的分布,且都能夠適應(yīng)逐漸的、局部的背景變化。其中GMM需要指定建模的高斯數(shù)個數(shù)和參數(shù),在處理復(fù)雜的場景空間變化時,性能不夠理想;KDE能夠較好地處理復(fù)雜的背景空間變化,但計算量大且需要大容量的存儲器,對硬件有較高的要求。參考文獻[3]中的算法通過簡化KDE算法,使數(shù)據(jù)運算量和數(shù)據(jù)存儲量大幅減少,但其顏色空間轉(zhuǎn)換和歐式距離的量化劃分仍比較耗時,不利于硬件實現(xiàn)。
本文通過改進參考文獻[3]中的算法進一步降低其對硬件內(nèi)存和運算速度的要求,達到與本文嵌入式硬件系統(tǒng)結(jié)合的目的。系統(tǒng)采用三星公司ARM11內(nèi)核的S3C6410[4] SoC芯片為控制核心構(gòu)建一個嵌入式視頻監(jiān)控系統(tǒng),該系統(tǒng)對操作系統(tǒng)支持良好,開發(fā)流程簡單,軟硬件可裁剪,易于在同類型平臺下的移植和升級。軟件采用簡化KDE背景建模算法對場景背景進行建模和學(xué)習(xí),能較好地區(qū)分出運動前景和動態(tài)背景,可用于復(fù)雜的場景,在視頻監(jiān)控領(lǐng)域有較好的應(yīng)用前景。
1 系統(tǒng)結(jié)構(gòu)
動態(tài)背景分割系統(tǒng)由ARM11嵌入式硬件系統(tǒng)和軟件系統(tǒng)組成,系統(tǒng)結(jié)構(gòu)原理圖如圖1所示。CMOS傳感器采集的視頻輸入S3C6410片上系統(tǒng)對視頻進行處理,構(gòu)建現(xiàn)場背景模型,分割出運動前景,通過JPEG壓縮運動前景圖片,保存到SD卡進行數(shù)據(jù)存儲,以便用戶查看。
1.1 硬件結(jié)構(gòu)
本嵌入式系統(tǒng)配置1 GB的NAND Flash固化UBOOT、內(nèi)核和文件系統(tǒng), 8 GB的SD卡存儲運動前景圖片,128 MB MOBILE DDR提供系統(tǒng)內(nèi)存。CMOS攝像頭采用OmniVision公司的彩色攝像頭OV9650,分辨率達130萬像素,具有自動曝光控制、自動增益、自動白平衡等功能,速度可達60 f/s。
1.2軟件系統(tǒng)
軟件系統(tǒng)采用V4L2接口構(gòu)建視頻采集系統(tǒng),完成圖像采集、簡化KDE背景建模、運動分割和圖片的保存等任務(wù)。V4L2是Linux 2.6內(nèi)核下開發(fā)視頻設(shè)備的一套API接口,有極好的靈活性和擴展性。
如圖2所示,系統(tǒng)開始后先對硬件系統(tǒng)初始化,然后通過V4L2操作視頻設(shè)備,步驟如下:
(1)打開視頻設(shè)備
fd=open(“/dev/video0”,O_RDWR);
(2)查詢設(shè)備信息
ret=ioctl(fd, VIDIOC_QUERYCAP,&caminf);
(3)設(shè)置視頻捕獲格式
ret=ioctl(fd, VIDIOC_S_FMT,&fmt);
系統(tǒng)設(shè)置圖像采集分辨率為640×480,圖像格式為 RGB565。
(4)啟動圖像采集
ret=ioctl(fd,VIDIOC_STREAMON, &type);
(5)讀取圖像數(shù)據(jù)
size=read(fd,img_buf, 640×480×2)。
系統(tǒng)啟動視頻采集后,對采集的視頻幀進行簡化KDE背景建模,再對新采集的視頻幀進行簡化KDE背景建模來完成場景的運動前景分割和背景模型更新。若判斷出有運動前景出現(xiàn),則通過JPEG壓縮該幀圖片保存到SD卡。
2 背景建模
2.1 傳統(tǒng)的KDE背景建模算法
假設(shè)x1,x2,…,xN是連續(xù)視頻中關(guān)于一個像素點A的一組強度或顏色值樣本,則可以對像素點A的任意強度或顏色值進行核密度估計得到其概率分布。如式(1)所示,給定t時刻像素點A的強度或顏色值xt,則其核密度估計定義為:
3 實驗結(jié)果與分析
通過利用系統(tǒng)在戶外進行實驗,并比較傳統(tǒng)KDE算法、參考文獻[3]算法和本文算法的運行結(jié)果。該實驗視頻持續(xù)時間為4 h 25 min 8 s,分割結(jié)果如圖3所示??梢钥闯?,參考文獻[3]算法、本文算法和傳統(tǒng)KDE算法分割出的運動物體前景基本相同,不同的是前兩者都出現(xiàn)了分布較均勻的細小背景噪聲點,這些噪聲點可通過形態(tài)學(xué)處理去除干凈,不影響運動物體的分割。其中,參考文獻[3]算法與本文算法分割結(jié)果相似,只有局部細小差異。因此,本文算法的分割結(jié)果良好,能夠清晰地辨別出運動前景。
表1統(tǒng)計出圖3實驗中對應(yīng)動態(tài)背景分割算法每個像素點的運行時間和模型個數(shù)。其中,參考文獻[3]的算法和本文算法的視頻序列中的模型最大個數(shù)分別為4、8,主要集中在隨風(fēng)擺動背景樹葉處。背景模型個數(shù)越多,像素點所需運行時間越長,最大時間的消耗就發(fā)生在這些點上。如表1所示,傳統(tǒng)KDE算法平均時間是參考文獻[3]算法平均時間的35倍,左右參考文獻[3]算法平均時間是本文算法平均時間的1.5倍左右。
參考文獻[3]算法和本文算法通過對像素點的量化劃分和在線學(xué)習(xí)完成近似的核密度估計,代替?zhèn)鹘y(tǒng)KDE計算中必須考慮像素點在觀察時間段內(nèi)所有特征值這個缺點,從而大幅度降低了算法的運算復(fù)雜度。另外,只需保存已建立的模型特征值,減少對內(nèi)存容量的需求,特別是當背景比較簡單的時候這個優(yōu)點更是突出。不同的是量化后樣本粒度稍大,是背景場景的近似概率密度分布,出現(xiàn)了分布較均勻的細小背景噪聲點。本文算法和參考文獻[3]的算法相比,不用轉(zhuǎn)換顏色空間,簡化了量化劃分方式,兩者在分割結(jié)果相似的基礎(chǔ)上本文算法在速度上優(yōu)于參考文獻[3]的算法,更滿足嵌入式系統(tǒng)內(nèi)存小、主頻一般的情形。
本文設(shè)計的基于簡化KDE的動態(tài)背景分割系統(tǒng),通過量化特征以及在線學(xué)習(xí)策略來簡化KDE背景建模算法,大幅度降低了運算的復(fù)雜度和對內(nèi)存容量的需求。實驗驗證,算法運行結(jié)果良好,速度遠高于傳統(tǒng)KDE算法和參考文獻[3]的簡化算法,滿足了需要動態(tài)背景分割的現(xiàn)場監(jiān)控應(yīng)用。
參考文獻
[1] STAFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[A]. In: Proceedings of the Computer Society on Computer Vision and Pattern Recognition. FortCollins, USA, 1999.
[2] ELGAMMAL A, DURAISWAMI R, HARWOOD D, et al. Background and foreground modeling using nonparametric kernel density estimation for visual surveillance[J]. Proc.of the IEEE, 2002,90(7):1151-1163.
[3] Xu Shaoqiu. Dynamic background modeling for foreground segmentation[C].8th IEEE/ACIS International Conference on Computer and Information Science (ICIS 2009), Shanghai,
China, 2009: 599-604.
[4] Samsung Electronics Inc.S3C6410X,risc microprocessor[Z].
(REV 1.10)User′s Manual 2008.