0 引言

    運(yùn)動偵測是視頻分析與理解的基礎(chǔ)研究課題，通過運(yùn)動偵測可以將目標(biāo)與背景分離開來，為后續(xù)目標(biāo)的分析與理解奠定基礎(chǔ)。因此，運(yùn)動偵測常作為視頻分析的預(yù)處理過程，在視頻分析時(shí)，先對視頻進(jìn)行運(yùn)動偵測，然后再對分離出的目標(biāo)進(jìn)行深一層的分析理解。運(yùn)動偵測的方法很多，通?？梢苑譃?類：幀差法、背景差法和光流法^[1]?？偟膩碚f，光流法在視頻監(jiān)控領(lǐng)域應(yīng)用很少，因?yàn)樵摲椒ǖ膹?fù)雜度高，無法滿足視頻監(jiān)控系統(tǒng)對時(shí)效性的要求。幀差法和背景差法在視頻監(jiān)控領(lǐng)域都有廣泛應(yīng)用。其中，幀差法的運(yùn)算效率一般高于背景差法。但是，幀差法對目標(biāo)的運(yùn)動速度比較敏感，如果目標(biāo)走走停停，那么采用幀差法存在丟失運(yùn)動目標(biāo)的可能。而且，幀差法對像素顏色值的變化非常敏感，在處理動態(tài)背景、光照變化和陰影問題時(shí)都存在明顯不足。背景差法通過訓(xùn)練背景模型可以適應(yīng)動態(tài)背景的變化以及光照的變化，提升運(yùn)動目標(biāo)檢測的魯棒性，應(yīng)用也最廣泛。該方法的關(guān)鍵是建立合適的背景模型，常用的背景建模方法有單高斯模型、混合高斯模型、自組織背景模型、貝葉斯模型等^[2-6]。盡管通過構(gòu)建背景模型可以提高背景對環(huán)境變化的適應(yīng)能力，但是，在實(shí)際應(yīng)用中運(yùn)動目標(biāo)檢測還會受到陰影干擾，因?yàn)橛白邮桥c目標(biāo)相關(guān)聯(lián)的，無法通過建模來消除。對于視頻監(jiān)控系統(tǒng)中的許多應(yīng)用，陰影檢測是提高運(yùn)動目標(biāo)檢測精度的重要環(huán)節(jié)，是運(yùn)動偵測方法的重要補(bǔ)充^[7-10]。目前，陰影檢測方面也涌現(xiàn)出了不少研究成果。如文獻(xiàn)[9]提出了一種多特征融合陰影檢測方法，融合了光照強(qiáng)度、色度和紋理3個(gè)特征來檢測陰影，使用灰度形態(tài)濾波消除陰影。文獻(xiàn)[10]使用離散小波變換檢測陰影，借助小波變換的多分辨率屬性，將圖像分解成4個(gè)不同的頻帶，以相對標(biāo)準(zhǔn)偏差準(zhǔn)則計(jì)算自適應(yīng)分割閾值，檢測和消除陰影。然而，現(xiàn)有陰影檢測方法還存在過檢測(將目標(biāo)像素點(diǎn)檢測為陰影像素點(diǎn))和欠檢測(將陰影像素點(diǎn)檢測為目標(biāo)像素點(diǎn))問題，檢測精度還有待提高。

    為了解決這一問題，本文提出了一種多特征融合及最小均方誤差優(yōu)化的陰影檢測方法。該方法的主要貢獻(xiàn)有兩個(gè)方面：(1)在相似度度量計(jì)算部分，該方法針對R、G、B 3個(gè)顏色通道提取相鄰幀之間像素點(diǎn)的亮度、對比度和結(jié)構(gòu)特征，融合這3類特征生成相似度度量，提高相似性度量對環(huán)境干擾的魯棒性；(2)在分割閾值求解部分，該方法引入最優(yōu)化理論，依據(jù)最小均方誤差準(zhǔn)則設(shè)計(jì)目標(biāo)函數(shù)，通過最優(yōu)化方法求解最佳的像素點(diǎn)分割閾值。

    通過這兩個(gè)方面的創(chuàng)新，該方法可以有效檢測并消除運(yùn)動偵測目標(biāo)中的陰影像素點(diǎn)。

1 運(yùn)動偵測概述

    在視頻監(jiān)控領(lǐng)域，考慮系統(tǒng)對運(yùn)動偵測方法運(yùn)算效率的要求，通常采用幀差法和背景差法兩類運(yùn)動偵測方法進(jìn)行運(yùn)動目標(biāo)的檢測，簡要描述如下^[11-12]。

1.1 幀差法

    幀差法也稱為時(shí)間差分法，該方法利用視頻中不同幀之間的差異來檢測運(yùn)動目標(biāo)。常用的是三幀差法，通過對相鄰的3幀圖像進(jìn)行差分運(yùn)算，檢測視頻中的運(yùn)動目標(biāo)。該方法主要包括3個(gè)步驟：幀間差分、二值分割和“與”運(yùn)算。

    (1)幀間差分

    計(jì)算第k幀圖像與前面間隔分別為Δk和2Δk的兩幀圖像之間的差分圖像，記為：

其中，T_col為對應(yīng)顏色通道上設(shè)置的分割閾值，該閾值通常為一全局量，可以自適應(yīng)求解。

    (3)“與”運(yùn)算

    將兩幅二值圖像進(jìn)行“與”運(yùn)算，可以剔除“鬼影”和噪聲干擾，得到最終的運(yùn)動目標(biāo)檢測結(jié)果，表示為：

其中，“&”表示“與”運(yùn)算。

    幀差法的優(yōu)點(diǎn)是計(jì)算量小，對運(yùn)動很敏感。但缺點(diǎn)是受目標(biāo)運(yùn)動速度影響，而且對于環(huán)境光照變化和動態(tài)背景也過于敏感。

1.2 背景差法

2 陰影檢測

    運(yùn)動偵測除了檢測運(yùn)動目標(biāo)之外，還會將目標(biāo)的影子檢測出來。因此，需要采用陰影檢測方法檢測影子并去除。本文提出一種陰影檢測方法是對運(yùn)動偵測方法的補(bǔ)充，也可以說是一個(gè)后處理過程。具體地，對于每一幀圖像，運(yùn)動偵測后可以得到一幅目標(biāo)二值掩膜圖像。其中，值為255的像素點(diǎn)為目標(biāo)，其他像素點(diǎn)為背景。本文以目標(biāo)像素點(diǎn)為研究對象，先進(jìn)行連通域搜索，得到二值圖像中的目標(biāo)列表。然后對每一個(gè)目標(biāo)進(jìn)行陰影檢測，判斷該目標(biāo)是否存在陰影像素點(diǎn)。如果存在陰影點(diǎn)，則將這些像素點(diǎn)置為背景像素點(diǎn)，從而降低陰影對運(yùn)動偵測的干擾。本文所述陰影檢測方法依據(jù)相鄰幀之間像素點(diǎn)的亮度、對比度和結(jié)構(gòu)的多特征融合生成相似度度量，依據(jù)最小均方誤差準(zhǔn)則尋找最優(yōu)解，生成像素點(diǎn)為目標(biāo)或者背景的最終判決，剔除前述運(yùn)動偵測階段生成的二值掩膜中的陰影像素點(diǎn)，實(shí)現(xiàn)流程如圖1所示。

2.1 目標(biāo)列表構(gòu)建

    運(yùn)動偵測得到一幅二值圖像，將每一幀圖像上的像素點(diǎn)分為兩類，即目標(biāo)像素點(diǎn)和背景像素點(diǎn)。本文先對二值圖像中的目標(biāo)像素點(diǎn)進(jìn)行8鄰域連通域搜索，每一個(gè)連通域?qū)?yīng)一個(gè)目標(biāo)，這樣構(gòu)建一個(gè)目標(biāo)列表，該目標(biāo)列表包含當(dāng)前幀中每一個(gè)目標(biāo)的外接矩形框和二值掩膜。

    記第i個(gè)目標(biāo)的外接矩形框?yàn)椋?/p>

    下面針對目標(biāo)列表中的每一個(gè)目標(biāo)進(jìn)行陰影檢測。

2.2 多特征融合相似度度量

    前述的運(yùn)動偵測主要依據(jù)像素點(diǎn)不同顏色通道上亮度的變化來檢測變化區(qū)域。事實(shí)上，光照等環(huán)境干擾引起的陰影現(xiàn)象也會導(dǎo)致像素點(diǎn)的亮度發(fā)生變化。因此，陰影像素點(diǎn)可能會被誤檢為目標(biāo)像素點(diǎn)。而且，運(yùn)動偵測節(jié)點(diǎn)亮度變化的閾值選擇通常是針對整幅圖像的，而事實(shí)上場景中不同位置的亮度一般存在較大差異，也即亮度不均勻。因此，相同的閾值可能不適合不同位置的目標(biāo)的運(yùn)動偵測。為了解決這一問題，本文對運(yùn)動偵測得到的二值目標(biāo)掩膜再進(jìn)行一次判決。這里，需要對每一個(gè)目標(biāo)的二值掩膜區(qū)域構(gòu)建一個(gè)相似度度量，降低圖像整體亮度不均勻?qū)Ψ指铋撝涤?jì)算的影響。

    本文針對R、G、B 3個(gè)顏色通道提取相鄰幀之間像素點(diǎn)的亮度、對比度和結(jié)構(gòu)特征，融合這3類特征生成相似度度量。對于第k幀圖像中第i個(gè)目標(biāo)，其相似度度量可以表示為：

3 實(shí)驗(yàn)與分析

    下面通過實(shí)驗(yàn)分析來驗(yàn)證本文所述的陰影檢測方法的性能。首先，本文選擇Changedetection.net中的shadow子集作為測試數(shù)據(jù)集。該數(shù)據(jù)集是運(yùn)動偵測領(lǐng)域的公開測試數(shù)據(jù)集，目前大部分運(yùn)動偵測算法都是在該數(shù)據(jù)集下進(jìn)行測試和評價(jià)的，具有權(quán)威性。shadow子集共包含了6個(gè)視頻圖像序列，分別是backdoor、bungalows、busStation、copyMachine、cubicle和peopleInShade。這些圖像序列的共同特點(diǎn)是都存在陰影干擾。本文針對這6個(gè)視頻圖像序列進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)平臺為Intel I5臺式計(jì)算機(jī)，內(nèi)存為16 GB，操作系統(tǒng)為Windows 7，軟件平臺為Visual Studio 2013。運(yùn)動偵測方法采用的是文獻(xiàn)[6]所述方法。針對運(yùn)動偵測的結(jié)果，采用本文所述陰影檢測方法和文獻(xiàn)[9]、[10]所述陰影檢測方法進(jìn)行陰影檢測，去除陰影。通過對比3種陰影檢測方法的檢測結(jié)果來評價(jià)本文方法的性能。其中，本文方法中參數(shù)設(shè)置為：t₁=t₂=t₃=1，Δk=1。

    圖2展示了3幅視頻幀圖像所對應(yīng)的Groundtruth以及采用3種陰影檢測方法得到的檢測結(jié)果?？梢?，文獻(xiàn)[9]所述方法能夠消除部分陰影，但仍有明顯的陰影存在，存在欠檢測問題。文獻(xiàn)[10]所述方法消除陰影的同時(shí)還消除了部分目標(biāo)，存在過檢測問題。而本文方法基本上能夠消除所有陰影，而且基本上沒有破壞目標(biāo)，所得目標(biāo)檢測結(jié)果與Groundtruth最為接近。

    為了定量評價(jià)本文陰影檢測方法的性能，本文采用檢測率和檢測耗時(shí)兩個(gè)指標(biāo)進(jìn)行性能評價(jià)。其中，檢測率表示為：

其中，A_S是指檢測到的陰影像素點(diǎn)的總數(shù)，R_S是指檢測正確的陰影像素點(diǎn)比例，由檢測正確的陰影像素點(diǎn)總數(shù)D_S與實(shí)際陰影像素點(diǎn)總數(shù)N_S的商來表示。D_S具體指檢測到的陰影像素點(diǎn)中不屬于Groundtruth中目標(biāo)像素點(diǎn)的像素點(diǎn)總數(shù)。N_S具體指運(yùn)動偵測得到的目標(biāo)像素點(diǎn)中不屬于Groundtruth中目標(biāo)像素點(diǎn)的像素點(diǎn)總數(shù)。

    檢測耗時(shí)僅指陰影檢測所耗費(fèi)的時(shí)間，不包括運(yùn)動偵測耗時(shí)。而且，檢測耗時(shí)統(tǒng)計(jì)的是平均耗時(shí)，也即一幀圖像進(jìn)行陰影檢測所耗費(fèi)的平均時(shí)間。

    圖3具體給出了3種方法對于6個(gè)視頻圖像序列的陰影檢測率指標(biāo)對比結(jié)果?？梢?，文獻(xiàn)[9]和文獻(xiàn)[10]所述方法的陰影檢測率指標(biāo)相當(dāng)。這是因?yàn)楸M管文獻(xiàn)[9]所述方法正確檢測的陰影像素點(diǎn)數(shù)量DS較文獻(xiàn)[10]所述方法偏少，但檢測到的陰影像素點(diǎn)總數(shù)AS也少于文獻(xiàn)[10]所述方法，所以最終得到的檢測率指標(biāo)相當(dāng)。而本文方法對每一個(gè)視頻圖像序列的陰影檢測率指標(biāo)都高于其他兩種方法，這是因?yàn)楸疚牟捎米顑?yōu)化理論尋找最優(yōu)解決方案，虛檢和漏檢的陰影像素點(diǎn)較少。

    表1給出了3種陰影檢測方法對6個(gè)視頻圖像序列的檢測結(jié)果?？梢姡疚姆椒ǖ臋z測正確率明顯優(yōu)于其他兩種方法，高出排在第二位文獻(xiàn)[9]所述方法17%。另外，3種方法的檢測耗時(shí)差異不大，本文方法的檢測耗時(shí)略高于文獻(xiàn)[9]所述方法，但低于文獻(xiàn)[10]所述方法。因此，綜合評價(jià)，本文的陰影檢測方法優(yōu)于所對比的其他兩種陰影檢測方法。

4 結(jié)束語

    本文提出了一種多特征融合及最小均方誤差優(yōu)化的陰影檢測方法，該方法以運(yùn)動偵測檢測到的目標(biāo)為研究對象，設(shè)計(jì)了一種多特征融合的相似度度量，具體是針對R、G、B 3個(gè)顏色通道提取相鄰幀之間像素點(diǎn)的亮度、對比度和結(jié)構(gòu)特征，融合這3類特征的均值、方差和協(xié)方差生成相似度度量；同時(shí)，設(shè)計(jì)了一種基于最優(yōu)化理論的分割閾值自適應(yīng)求解方法，依據(jù)最小均方誤差準(zhǔn)則設(shè)計(jì)目標(biāo)函數(shù)，通過最優(yōu)化方法求解最佳的像素點(diǎn)分割閾值。該方法可以作為光流法、幀差法和背景差法等運(yùn)動偵測方法的后處理步驟，能夠有效檢測并消除運(yùn)動偵測目標(biāo)中的陰影像素點(diǎn)。

參考文獻(xiàn)

[1] BEHNIA R，CLARK D A，CARTER A G，et al.Processing properties of on and off pathways for drosophila motion detection[J].Nature，2014，512(7515)：427-30.

[2] SHINOMIYA K，KARUPPUDURAI T，LIN T Y，et al.Candidate neural substrates for off-edge motion detection in drosophila[J].Current Biology，2014，24(10)：1062-70.

[3] OHTA N，KANATANI K，KIMURA K.Moving object detection from optical flow without empirical thresholds[J].IEICE Transactions on Information & Systems，2015，81(2)：243-245.

[4] NAKAMURA M，KANEOKE Y，WATANABE K，et al.Visual information process in Williams syndrome：intact motion detection accompanied by typical visuospatial dysfunctions[J].European Journal of Neuroscience，2015，16(9)：1810-1818.

[5] LEE J H，YANG D，KIM S，et al.Stretchable strain sensor based on metal nanoparticle thin film for human motion detection & flexible pressure sensing devices[J].Nanoscale，2014，6(20)：11932.

[6] 余燁，曹明偉，岳峰.EVibe：一種改進(jìn)的Vibe運(yùn)動目標(biāo)檢測算法[J].儀器儀表學(xué)報(bào)，2014，35(4)：924-931.

[7] 姜建國，李婷，楊玲敏，等.c3通道高分辨率遙感圖像陰影檢測算法的改進(jìn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2015，27(8)：1490-1497.

[8] 段志剛，屈靚瓊，田建東，等.基于正交分解的室外光照陰影檢測[J].光學(xué)學(xué)報(bào)，2016(8)：201-209.

[9] CHEN W.Moving shadow detection based on multi-feature analysis and gray-scale morphological filtering[J].Journal of Information & Computational Science，2014，11(8)：2535-2542.

[10] KHARE M，SRIVASTAVA R K，KHARE A.Moving shadow detection and removal-a wavelet transform based approach[J].Computer Vision IET，2014，8(6)：701-717.

[11] 蔡念，周楊，劉根，等.魯棒主成分分析的運(yùn)動目標(biāo)檢測綜述[J].中國圖象圖形學(xué)報(bào)，2016，21(10)：1265-1275.

[12] 田合雷，丁勝，于長偉，等.監(jiān)控視頻中的移動目標(biāo)偵測算法研究[J].合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2015(12)：1639-1642.

作者信息:

張  涵1，閆懷平1，張  展2

(1.安陽工學(xué)院 計(jì)算機(jī)科學(xué)與信息工程，河南 安陽455000；2.河南理工大學(xué) 電氣學(xué)院，河南 焦作454000)