陶春，陳淑榮

　?。ㄉ虾：Ｊ麓髮W(xué) 信息工程學(xué)院，上海 201612）

       摘要：針對(duì)雨天環(huán)境下監(jiān)控視頻因雨水噪聲、圖像的灰度值削弱使行人輪廓特征丟失而出現(xiàn)的目標(biāo)行人漏檢誤檢情況，建立了一種基于HOG-SIFT特征稀疏表示的行人檢測(cè)算法。通過直方圖均衡化降低雨水噪聲；提取圖像HOG-SIFT融合特征表征視頻圖像中的行人信息，減少輪廓特征的丟失；利用稀疏表示降低融合特征的維數(shù)，減小計(jì)算量并保留有效的行人特征，結(jié)合AdaBoost分類器降低漏檢率和誤檢率。實(shí)驗(yàn)結(jié)果表明，該算法在雨天環(huán)境下有效地提高了行人檢測(cè)的準(zhǔn)確率。

　　關(guān)鍵詞：HOG特征；SIFT特征；稀疏表示；行人檢測(cè)

　　中圖分類號(hào)：TP317.4文獻(xiàn)標(biāo)識(shí)碼：ADOI： 10.19358/j.issn.1674-7720.2017.07.012

　　引用格式：陶春，陳淑榮.雨天環(huán)境基于HOGSIFT特征稀疏表示的行人檢測(cè)［J］.微型機(jī)與應(yīng)用，2017,36（7）：39-42.

　　0引言

　　行人檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域備受關(guān)注的前沿方向和研究熱點(diǎn)。常用特征主要有方向梯度直方圖（HOG）［1］、Haar特征［2］、尺度不變特征（SIFT）［3］、加速魯棒特征（SURF）［4］等。參考文獻(xiàn)［5］利用非負(fù)矩陣分解和方向梯度直方圖生成HOGNMF特征的快速行人檢測(cè)方法，降低了特征維數(shù)，對(duì)線性支持向量機(jī)的分類效果提高顯著，但易受光照環(huán)境影響。文獻(xiàn)［6］提出一種顏色自相似度特征與AdaBoost級(jí)聯(lián)分類器結(jié)合的行人檢測(cè)方法，加快了檢測(cè)速度，但漏檢誤檢情況較高。文獻(xiàn)［7］采用快速SIFT算法匹配相鄰幀人的身體，結(jié)合AdaBoost級(jí)聯(lián)分類器檢測(cè)行人信息，該算法適用于復(fù)雜場(chǎng)景下的行人檢測(cè)但是實(shí)時(shí)性差。上述文獻(xiàn)中所提到的檢測(cè)方法能夠運(yùn)用在較多場(chǎng)景，但在雨天環(huán)境下，監(jiān)控視頻圖像灰度值削弱導(dǎo)致行人輪廓特征丟失，出現(xiàn)大量行人漏檢誤檢情況。

　　在光線昏暗的雨天環(huán)境下，針對(duì)視頻圖像的灰度值削弱問題，本文采用圖像的HOGSIFT融合特征描述行人信息，可以減少其輪廓特征的丟失。利用稀疏表示對(duì)圖像HOGSIFT融合特征進(jìn)行降維，得到強(qiáng)輪廓特征，通過AdaBoost分類器的級(jí)聯(lián)強(qiáng)分類性來提高雨天環(huán)境下行人檢測(cè)的準(zhǔn)確率。

1算法原理

　　實(shí)驗(yàn)中首先提取雨天環(huán)境下監(jiān)控視頻的每幀圖像，進(jìn)行直方圖均衡化處理降低雨水噪聲影響，再變換為灰度圖像并歸一化。通過提取圖像HOG特征和SIFT特征，串行組合成HOGSIFT融合特征，表征圖像中的行人特征。利用稀疏表示降低融合特征維數(shù)，得到強(qiáng)輪廓特征，并減少弱噪聲影響。通過AdaBoost級(jí)聯(lián)分類器檢測(cè)目標(biāo)行人。算法流程如圖1所示。

　　1.1HOG特征提取

　　HOG特征是圖像處理中檢測(cè)行人或物體的一種特征描述子。提取測(cè)試樣本圖像的HOG特征，需將圖像分成小的細(xì)胞單元（cell），采集cell中各像素點(diǎn)梯度和邊緣的方向直方圖，再組合起來構(gòu)成測(cè)試樣本圖像的HOG特征。圖像中像素點(diǎn)(x,y)梯度為：

　　Gx(x,y)=H(x+1,y)－H(x－1,y)（1）

　　Gy(x,y)=H(x,y+1)－H(x,y－1)（2）

　　式中Gx(x,y)，Gy(x,y)，H(x,y)分別表示輸入圖像中像素點(diǎn)(x,y)處的水平方向梯度、垂直方向梯度和像素值。像素點(diǎn)(x,y)處的梯度幅值和梯度方向分別為：

　　G(x,y)=Gx(x,y)2+Gy(x,y)2（3）

　　α（x,y)=tan－1(Gy(x,y)/Gx(x,y))（4）

　　實(shí)驗(yàn)中對(duì)樣本圖像進(jìn)行HOG特征提取，圖像歸一化為64×128。將圖像分割成16×16像素的cell，每2×2個(gè)cell組成一個(gè)塊。將梯度方向平均劃分為9個(gè)區(qū)間，統(tǒng)計(jì)cell里每個(gè)區(qū)間中像素的梯度方向直方圖，得到一個(gè)9維的特征向量。計(jì)算出每個(gè)塊內(nèi)有4×9=36個(gè)特征向量，用塊對(duì)樣本圖像進(jìn)行掃描，掃描步長(zhǎng)為一個(gè)單元。將所有塊的特征串聯(lián)起來，構(gòu)成完整的HOG特征。圖2是雨天視頻圖像HOG特征的提取。

　　圖2（a）為原始圖像，（b）為根據(jù)提取的HOG特征還原的圖像。HOG特征是統(tǒng)計(jì)每個(gè)cell中像素的梯度直方圖，而還原圖像的像素點(diǎn)受到雨天光線變暗、圖像灰度值削弱的影響，使圖2(b)中的行人輪廓出現(xiàn)明顯的丟失,在檢測(cè)時(shí)易造成漏檢誤檢情況。因此，利用單一HOG特征在雨天環(huán)境下檢測(cè)行人的準(zhǔn)確率較低。

　　1.2SIFT特征提取

　　SIFT特征能保持圖像的尺度與旋轉(zhuǎn)不變性，對(duì)光照變化有較好的穩(wěn)定性。通過對(duì)樣本圖像分別提取HOG和SIFT特征，串聯(lián)組合成HOG-SIFT融合特征，能夠有效描述雨天視頻圖像中行人輪廓的特征信息，提高在雨天環(huán)境下的行人檢測(cè)準(zhǔn)確率。提取SIFT特征首先要構(gòu)造圖像的尺度空間，對(duì)每層尺度空間進(jìn)行關(guān)鍵點(diǎn)檢測(cè)和方向分配，再通過歸一化生成關(guān)鍵點(diǎn)描述子。尺度空間和關(guān)鍵點(diǎn)的算法描述如式（5）～式(7)。

　　I(x,y)是輸入的圖像信號(hào)，G(x,y,σ)是尺度可變高斯函數(shù)，則函數(shù)L(x,y,σ)是一幅圖像的尺度空間，如式（5）：

　　L(x,y,σ)=G(x,y,σ)*I(x,y)（5）

　　其中，σ是尺度因子，σ越小，表征圖像的信息越多；σ越大，表征圖像的信息越少。關(guān)鍵點(diǎn)在(x,y)處梯度的模值和方向，其公式如式（6）和（7）：

　　m(x,y)=(L1－L2)2+(L3－L4)2（6）

　　θ(x,y)=atan2(L3－L4)/(L1－L2)（7）

　　式中各變量L1=L(x+1,y)，L2=L(x－1,y)，L3=L(x,y+1)，L4=L(x,y－1)。

　　實(shí)驗(yàn)對(duì)樣本圖像進(jìn)行SIFT特征提取，圖像歸一化為64×128，利用高斯函數(shù)對(duì)每一幅圖像構(gòu)造尺度空間，通過高斯差分卷積對(duì)尺度空間中的關(guān)鍵點(diǎn)進(jìn)行檢測(cè)。本文選用16×16大小的檢測(cè)窗口，每個(gè)窗口檢測(cè)到的關(guān)鍵點(diǎn)為4×4=16個(gè)，利用式（6）、（7）確定關(guān)鍵點(diǎn)的位置、尺度和方向后，用高斯窗口對(duì)其進(jìn)行加權(quán)運(yùn)算，得到具有8個(gè)方向的關(guān)鍵點(diǎn)，一個(gè)窗口有4×4×8=128維特征描述子，一幅64×128大小的圖像有128×32=4 096維SIFT特征。圖3是雨天視頻圖像中行人SIFT特征關(guān)鍵點(diǎn)的提取。

　　圖3（a）為原始圖像，（b）為SIFT特征關(guān)鍵點(diǎn)提取。SIFT特征通過高斯函數(shù)構(gòu)造圖像中目標(biāo)行人的多層尺度空間，利用檢測(cè)窗口檢測(cè)出人體輪廓的關(guān)鍵點(diǎn)，將關(guān)鍵點(diǎn)串聯(lián)得到人體的SIFT輪廓特征。在光線昏暗的雨天環(huán)境，SIFT特征通過關(guān)鍵點(diǎn)描述出行人輪廓特征，減少雨天環(huán)境下行人的局部輪廓特征丟失。因此，通過構(gòu)造HOG-SIFT融合特征將有效提高雨天環(huán)境中行人目標(biāo)檢測(cè)的準(zhǔn)確率。

　　1.3HOG-SIFT特征的稀疏表示

　　稀疏表示能夠降低HOG-SIFT融合特征的維數(shù)、減少計(jì)算量，使HOG-SIFT融合特征有效表征行人輪廓信息，減少噪聲特征的影響。實(shí)驗(yàn)首先對(duì)行人數(shù)據(jù)庫中選出的訓(xùn)練樣本提取融合特征構(gòu)造字典，將訓(xùn)練樣本分為k類，提取到的特征向量為Si,j，第i類訓(xùn)練樣本用特征向量表示為Ai，將Ai擴(kuò)展到整個(gè)訓(xùn)練樣本集，則可以構(gòu)成字典A，如式（8）所示：

　　A=［A1,A2...Ak］=［S1,1,S1,2...Sk,n］∈R（8）

　　實(shí)驗(yàn)中將行人結(jié)構(gòu)與稀疏表示原理相結(jié)合建立稀疏算法模型。行人結(jié)構(gòu)可以定義成一個(gè)層次為h的索引樹T，則Ti={Gi1,Gi2,...,Gini}包括了層次為i中所有的節(jié)點(diǎn)，其中n0=1，G01={1,2,...p}且ni≥1，i=1,2,...h。數(shù)學(xué)模型為式（9）：

　　其中x∈Rp，ωij≥0(i=0,1,...,h,j=1,2,...,ni)是預(yù)先定義的關(guān)于節(jié)點(diǎn)Gij的權(quán)重，xGij是節(jié)點(diǎn)Gij的系數(shù)向量。

　　實(shí)驗(yàn)對(duì)待測(cè)的雨天視頻圖像提取HOG-SIFT融合特征，利用式（9）對(duì)該融合特征進(jìn)行稀疏表示。通過已經(jīng)構(gòu)造出的字典A和需要稀疏的融合特征向量y，利用正則化參數(shù)求解出參數(shù)λmax，根據(jù)式（9）可以求解特征向量y的系數(shù)矩陣x，通過其表征圖像中行人的輪廓特征。圖4是對(duì)雨天視頻圖像提取的HOG-SIFT融合特征的稀疏表示。　　

　　稀疏表示是通過一組系數(shù)矩陣來表示圖像特征，系數(shù)矩陣可以通過稀疏字典還原圖像的特征信號(hào)，相較于傳統(tǒng)PCA降維法不需要計(jì)算協(xié)方差矩陣，縮短了特征降維的時(shí)間，同時(shí)經(jīng)過稀疏表示后的HOG-SIFT融合特征對(duì)雨天環(huán)境下視頻圖像中行人輪廓表征更清晰，減少了弱噪聲特征影響。

　　1.4AdaBoost分類器

　　AdaBoost是一種迭代算法，針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的弱分類器，并將弱分類器級(jí)聯(lián)成一個(gè)強(qiáng)分類器。在雨天環(huán)境下，AdaBoost通過多次構(gòu)造弱分類器檢測(cè)出錯(cuò)誤的樣本，利用級(jí)聯(lián)強(qiáng)分類性再次檢測(cè)出錯(cuò)誤的樣本，提高了分類器檢測(cè)的準(zhǔn)確率，有效減少了雨天環(huán)境下圖像灰度值削弱而出現(xiàn)的行人漏檢誤檢情況。因此，本文選用AdaBoost作為實(shí)驗(yàn)的最終分類器。

2算法步驟

　　本文算法步驟如下：

　　（1）選取一段雨天環(huán)境下的監(jiān)控視頻，提取視頻幀圖像，對(duì)圖像進(jìn)行直方圖均衡化處理，降低雨水噪聲的影響。

　?。?）將圖像轉(zhuǎn)為灰度圖像，并做歸一化處理。

　　（3）對(duì)圖像分別提取HOG特征和SIFT特征，得到兩個(gè)特征集合α、β，并且通過串行特征組合方法構(gòu)造HOGSIFT融合特征集C。

　?。?）利用融合特征C構(gòu)造待檢測(cè)圖像的字典A，用稀疏算法對(duì)融合特征C進(jìn)行稀疏表示，得到圖像的稀疏融合特征向量C′。

　?。?）通過AdaBoost分類器對(duì)稀疏融合特征向量C′分類檢測(cè)，得到雨天環(huán)境下視頻幀圖像中的目標(biāo)行人。

3實(shí)驗(yàn)結(jié)果及分析

　　為了驗(yàn)證算法有效性，在MATLAB 2014a環(huán)境下進(jìn)行實(shí)驗(yàn)，計(jì)算機(jī)配置為2.1 GHz CPU和4 GB內(nèi)存，數(shù)據(jù)庫為INRIA數(shù)據(jù)庫和Daimler數(shù)據(jù)庫。實(shí)驗(yàn)驗(yàn)證雨天環(huán)境下視頻監(jiān)控中行人檢測(cè)的漏檢誤檢情況。首先從兩個(gè)數(shù)據(jù)庫中選擇2 100個(gè)包含行人圖片的正樣本集和3 200個(gè)無行人圖片的負(fù)樣本集訓(xùn)練AdaBoost分類器。測(cè)試樣本為雨天環(huán)境下的一段監(jiān)控視頻，提取500幅幀圖像作為最終的測(cè)試樣本集，且圖像大小歸一化為128×64。

　　實(shí)驗(yàn)將本文算法與傳統(tǒng)HOG檢測(cè)算法和HOG紋理顏色融合特征檢測(cè)算法進(jìn)行檢測(cè)對(duì)比，檢測(cè)結(jié)果如圖5所示。

　　圖5（a）為傳統(tǒng)HOG+SVM算法檢測(cè)的結(jié)果,（b）為HOG-紋理-顏色+SVM算法檢測(cè)的結(jié)果，（c）為本文算法HOG-SIFT+稀疏表示+AdaBoost算法檢測(cè)的結(jié)果。在圖（a）、（b）中已用箭頭標(biāo)注出漏檢情況，在圖（c）中本文算法正確檢測(cè)出目標(biāo)行人。

　　針對(duì)雨天環(huán)境下行人檢測(cè)的漏檢誤檢情況，將本文算法與傳統(tǒng)HOG特征檢測(cè)算法、HOG-紋理-顏色融合特征檢測(cè)算法進(jìn)行比較。圖6是在晴天環(huán)境下3種算法的檢測(cè)情況比較，圖7是在雨天環(huán)境下3種算法的檢測(cè)情況比較。其中漏檢率（MissRate）和誤檢率（FPPW）如式（10）和式（11）所示：

　　式中，F(xiàn)N（False Negatives）是正樣本被錯(cuò)誤檢測(cè)為負(fù)樣本的數(shù)量；TP（True Positives）是正樣本被正確檢測(cè)為正樣本的數(shù)量；FP（False Positives）是負(fù)樣本被錯(cuò)誤檢測(cè)為正樣本的數(shù)量；TN（True Negatives）是負(fù)樣本被正確識(shí)別為負(fù)樣本的數(shù)量。

　　實(shí)驗(yàn)結(jié)果表明，晴天環(huán)境在誤檢率相同的情況下，本文算法的漏檢率比傳統(tǒng)HOG算法和HOG紋理顏色融合特征算法稍低，其準(zhǔn)確率為93.5%，傳統(tǒng)HOG算法的準(zhǔn)確率為89%，HOG紋理顏色融合特征算法的準(zhǔn)確率為90.6%。雨天環(huán)境在誤檢率相同情況下，本文算法的漏檢率明顯比另兩種算法低，其準(zhǔn)確率為90.3%，傳統(tǒng)HOG算法的準(zhǔn)確率為80.1%，HOG紋理顏色融合特征算法的準(zhǔn)確率為83.2%。

　　針對(duì)雨天環(huán)境下行人目標(biāo)的檢測(cè)時(shí)間，將本文算法與傳統(tǒng)HOG特征檢測(cè)算法和HOG紋理顏色融合特征檢測(cè)算法對(duì)相同維數(shù)的雨天視頻圖像特征進(jìn)行檢測(cè)比較。結(jié)果如表1所示。

　　表1中是3種算法對(duì)一組2 800維的雨天視頻圖像特征進(jìn)行行人檢測(cè)的時(shí)間比較，包括不同算法下特征的訓(xùn)練時(shí)間、分類檢測(cè)時(shí)間和行人目標(biāo)檢測(cè)的準(zhǔn)確率。本文算法提取的HOGSIFT融合特征經(jīng)過稀疏表示將邊緣弱特征忽略掉，保留行人輪廓的強(qiáng)特征，從而降低了特征的維數(shù)，簡(jiǎn)化了計(jì)算量。因此，本文算法大大減少了樣本的訓(xùn)練時(shí)間和檢測(cè)時(shí)間，提高了行人檢測(cè)的準(zhǔn)確率。

4結(jié)論

　　針對(duì)雨天環(huán)境下監(jiān)控視頻中因雨水噪聲、圖像的灰度值削弱使行人輪廓特征丟失而出現(xiàn)行人漏檢誤檢的情況，建立了一種基于HOG-SIFT特征稀疏表示的行人檢測(cè)算法。利用HOGSIFT融合特征表征雨天環(huán)境下圖像的行人特征；減少輪廓信息丟失；通過稀疏表示對(duì)融合特征降維、簡(jiǎn)化計(jì)算，并保留有效的行人特征;利用AdaBoost分類器的級(jí)聯(lián)強(qiáng)分類性降低行人的漏檢誤檢情況。實(shí)驗(yàn)表明本文算法提高了雨天監(jiān)控視頻中行人目標(biāo)檢測(cè)的準(zhǔn)確率，為雨天視頻監(jiān)控系統(tǒng)實(shí)施行人檢測(cè)方法提供了理論依據(jù)。

　　參考文獻(xiàn)

　?。?］ DALAL N,TRIGGS B.Histograms of oriented gradients for human detection ［C］. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005,1:886-893.

　　［2］ LOWE D G.Distinctive image feature from scaleinvariant key points［J］.International Journal of Computer Vision, 2004, 60(2):91-110.

　?。?］ OJALA T,PIETIKAINEN M,HARWOOD D.A comparative study of texture measures with classification based on feature distributions［J］.Pattern Recognition,1996,19(3):51-59.

　?。?］ 顧志航，陳淑榮.一種基于HOG和LSS融合的行人檢測(cè)算法［J］.微型機(jī)與應(yīng)用，2016，35（8）：37-39.

　?。?］ 孫銳，陳軍，高雋.基于顯著性檢測(cè)與HOGNMF特征的快速行人檢測(cè)方法［J］.電子與信息學(xué)報(bào)，2013,35（8）：1921-1926.

　　［6］ 曾波波，王貴錦，林行剛.基于顏色自相似度特征的實(shí)時(shí)行人檢測(cè)［J］.清華大學(xué)學(xué)報(bào)，2014，52（4）：571-574.

　?。?］ 杜金輝，管業(yè)鵬，時(shí)勇杰.基于快速SIFT匹配的行人信息檢測(cè)［J］.電子器械，2012，35(5):601-606.