摘  要： 提出了一種基于HOG-LBP特征融合的人體頭肩檢測(cè)方法，其要點(diǎn)是將人體頭肩圖像等分為多個(gè)部分重疊的塊，從每個(gè)塊內(nèi)提取HOG和LBP特征并加以融合，以得到更有效的人體頭肩的邊緣輪廓和紋理特征，融合后的特征送入支持向量機(jī)SVM（Support Vector Machine）通過(guò)Bootstrapping的方式進(jìn)行訓(xùn)練，得到最終的判別模型。實(shí)驗(yàn)結(jié)果表明，該方法的檢測(cè)效果優(yōu)于基于單一HOG、LBP特征的方法。

　　關(guān)鍵詞： 梯度方向直方圖；局部二值模式；頭肩檢測(cè)；支持向量機(jī)

0 引言

　　近年來(lái)，行人檢測(cè)是計(jì)算機(jī)視覺(jué)、圖像處理、模式識(shí)別領(lǐng)域中一個(gè)十分重要的研究方向。傳統(tǒng)的行人檢測(cè)特征提取方法都將人體目標(biāo)作為一個(gè)整體，從大量包含人體目標(biāo)的圖像集中學(xué)習(xí)并提取整體特征，然后采用統(tǒng)計(jì)分類技術(shù)進(jìn)行目標(biāo)檢測(cè)與分類。然而這種識(shí)別方法由于沒(méi)有利用圖像中人體的局部信息，比如人體目標(biāo)存在局部遮擋、姿態(tài)發(fā)生較大變化等情況下，會(huì)導(dǎo)致整體特征的顯著變化，對(duì)人體目標(biāo)檢測(cè)的準(zhǔn)確性造成很大的影響。由于人體頭肩呈現(xiàn)比較固定的類似“Ω”形狀和不易被遮擋等優(yōu)點(diǎn)，為行人的準(zhǔn)確檢測(cè)提供了先決條件。

　　當(dāng)前頭肩檢測(cè)大致分為基于知識(shí)的方法和基于統(tǒng)計(jì)學(xué)習(xí)的方法。在基于知識(shí)的方法方面，MERAD D[1]等人提出利用骨架圖的方法檢測(cè)頭肩，該方法首先是前景圖像的提取，然后用骨架描述前景圖像，接著在骨架圖中找到人體的頭部。Chen Juan[2]等人假定頭肩為俯視圖像并接近圓形，通過(guò)Hough圓檢測(cè)頭肩輪廓，然后把檢測(cè)到的輪廓與YUV顏色空間的U、V顏色直方圖匹配，從而實(shí)現(xiàn)頭肩的檢測(cè)與定位。在基于統(tǒng)計(jì)學(xué)習(xí)的方法方面，Li Min[3]等人提出基于Haar特征的級(jí)聯(lián)分類器和局部HOG特征的AdaBoost分類器的先粗后細(xì)的篩選來(lái)檢測(cè)頭肩；Li Zhixuan[4]等人采用Edgelet和LBP特征融合，送入real AdaBoost構(gòu)造頭肩檢測(cè)分類器等等。

　　由于現(xiàn)實(shí)中的頭肩顏色、輪廓等先驗(yàn)知識(shí)存在較大差異，無(wú)法用統(tǒng)一的形式來(lái)描述。但是可以選用基于統(tǒng)計(jì)模式識(shí)別的方法，通過(guò)對(duì)大量樣本的學(xué)習(xí)來(lái)獲得頭肩的描述規(guī)則，自動(dòng)分析頭肩與非頭肩的細(xì)微差別?；诖?，本文根據(jù)人體頭肩的特點(diǎn)，提出了一種基于HOG-LBP特征融合的人體頭肩檢測(cè)方法。

1 相關(guān)特征介紹

　　1.1 HOG特征

　　HOG描述是在一個(gè)網(wǎng)格密集、大小統(tǒng)一的細(xì)胞單元（Cell）上計(jì)算，并且為了提高性能，還采用了重疊的局部對(duì)比度歸一化技術(shù)。其主要思想是：在一幅圖像中，局部目標(biāo)的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述。按照Dalal[5]提出的方法，HOG特征提取方法包括5個(gè)步驟：顏色空間Gamma校正、計(jì)算梯度、統(tǒng)計(jì)單元內(nèi)的方向梯度、重疊塊內(nèi)的梯度強(qiáng)度的歸一化、塊內(nèi)直方圖組合成HOG特征向量。下面簡(jiǎn)要介紹以上五個(gè)步驟。

　　（1）顏色空間Gamma校正

　　為了減少光照因素的影響，一般情況下，首先需要將整幅圖像進(jìn)行歸一化。但是后來(lái)研究人員通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，顏色空間標(biāo)準(zhǔn)化處理對(duì)實(shí)驗(yàn)結(jié)果影響不大，分析其原因，可能是接下來(lái)的計(jì)算過(guò)程中的特征歸一化處理也能達(dá)到相似的效果。這樣在實(shí)際應(yīng)用中，這個(gè)計(jì)算步驟可以省略。

　?。?）梯度的計(jì)算

　　設(shè)像素（x，y）處的灰度值為I，梯度幅值為G，梯度方向?yàn)?茲，采用[-1，0，1]的一維中心梯度算子，計(jì)算水平方向和垂直方向的梯度分別如下：

　　對(duì)于RGB彩色圖像，即對(duì)每個(gè)顏色通道計(jì)算梯度，選取梯度幅值最大的顏色通道所對(duì)應(yīng)的梯度作為該像素點(diǎn)的梯度。

　?。?）將圖像窗口區(qū)域劃分成均勻分布的單元（如8×8像素大小的單元），每相鄰的2×2單元組合成一個(gè)小區(qū)域塊。在小塊內(nèi)的每個(gè)像素以幅值作為權(quán)值投票到近鄰單元直方圖的相應(yīng)梯度方向柱里。不考慮梯度方向的正負(fù)，即將方向轉(zhuǎn)化到0°~180°內(nèi)，直方圖取9個(gè)方向柱。

　?。?）對(duì)每一個(gè)小塊的直方圖進(jìn)行歸一化，能夠?qū)庹铡㈥幱?、邊緣?duì)比度等具有更好的不變性。由于每個(gè)小塊有4個(gè)9維的直方圖，歸一化后即得到該小塊36維的特征向量。假設(shè)ν為歸一化的特征向量，常用歸一化方法有：①L2-norm歸一化：，其中ε是很小的常數(shù)，避免分母為0。②L2-Hys歸一化：對(duì)L2-norm的結(jié)果，若有元素大于0.2，則將其減小為0.2，之后再進(jìn)行一次L2-norm。

　　（5）將所有小塊的特征向量串聯(lián)起來(lái)，形成窗口的HOG特征。

　　1.2 LBP特征

　　LBP[6]最早是作為一種有效的紋理描述算子提出來(lái)的，由于其對(duì)圖像局部紋理特征的卓越描繪能力而獲得了十分廣泛的應(yīng)用。LBP算子的特點(diǎn)是計(jì)算高效、判別性強(qiáng)且對(duì)單調(diào)的灰度級(jí)變化具有不變性。

　　基本的LBP算子是對(duì)于圖像中的每一個(gè)像素點(diǎn)，以該點(diǎn)的灰度值作為閾值，對(duì)其3×3鄰域內(nèi)的像素灰度值作比較，若周圍8個(gè)像素點(diǎn)的值大于閾值，則為1，否則為0。按照一定的順序比較，得到一個(gè)8位的二進(jìn)制數(shù)，以此二進(jìn)制數(shù)作為對(duì)該像素點(diǎn)的響應(yīng)。圖1所示為提取過(guò)程。

　　其計(jì)算公式如下：

　　后來(lái)，基本LBP算子被進(jìn)一步推廣為使用不同大小和形狀的鄰域。采用圓形的鄰域并結(jié)合雙線性插值運(yùn)算，從而可以獲得任意半徑和任意數(shù)目的鄰域像素點(diǎn)。圖2給出幾種不同圓形鄰域的LBP算子。

　　其中P是采樣點(diǎn)的數(shù)目，R是采樣半徑。

　　對(duì)于一個(gè)局部二進(jìn)制模式，在將其二進(jìn)制位串視為循環(huán)的情況下，如果其中包含的從0到1或者從1到0轉(zhuǎn)變不超過(guò)2個(gè)，這樣局部二進(jìn)制模式統(tǒng)一為一致性模式。例如模式00000000（0個(gè)轉(zhuǎn)變）和01110000（2個(gè)轉(zhuǎn)變）都是一致性模式。而模式00100010（4個(gè)轉(zhuǎn)變）和01010011（6個(gè)轉(zhuǎn)變）都是非一致性模式。經(jīng)過(guò)映射，編碼方式由256種縮短為59種，使得特征向量的維數(shù)減少。當(dāng)背景中噪聲邊緣成分多時(shí)，HOG特征的表現(xiàn)不足，而LBP算子的一致性模式可濾除這類噪聲，彌補(bǔ)這一缺陷。將各個(gè)一致性模式對(duì)應(yīng)到直方圖柱，而所有的非一致性模式都?xì)w為一個(gè)柱。

2 HOG-LBP特征融合

　　特征提取是人體頭肩檢測(cè)中最為關(guān)鍵的環(huán)節(jié)之一，提取具有鑒別意義的特征對(duì)準(zhǔn)確檢測(cè)人體頭肩起著重要作用。特征融合技術(shù)既融合了多種特征的有效鑒別信息，又能消除大部分冗余的信息，從而實(shí)現(xiàn)了信息的有效壓縮，節(jié)約了信息存儲(chǔ)空間，有利于加快運(yùn)算速度和進(jìn)行信息的實(shí)時(shí)處理。目前常用的特征融合方法為串行融合和并行融合。

　　設(shè)模式樣本空間?贅上存在兩個(gè)不同的特征空間A、B，對(duì)于任意模式樣本ε∈?贅，設(shè)它對(duì)應(yīng)的兩個(gè)特征向量分別為?琢∈A和?茁∈B，串行融合后的特征矩陣?酌=（?琢，?茁）。若特征向量?琢和?茁分別為n和m維，由組合原理可知，其組合后的串行特征空間為（n+m）維。并行融合后的特征矩陣?酌=?琢+i?茁，其中i為虛數(shù)單位。若兩組特征的維數(shù)不等，則低維的特征向量用零補(bǔ)足，此時(shí)特征矩陣維數(shù)為max{dim（A），dim（B）}。

　　串行特征向量的計(jì)算過(guò)程如圖3所示，分別計(jì)算HOG特征直方圖和LBP特征直方圖，串行連接形成聯(lián)合直方圖。

3 實(shí)驗(yàn)過(guò)程及結(jié)果分析

　　3.1 實(shí)驗(yàn)樣本

　　為了測(cè)試HOG特征和LBP特征融合的有效性，建立了一個(gè)基于行人頭肩的數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)圖片大多通過(guò)現(xiàn)有的行人樣本集，手工摳取人體頭肩區(qū)域形成樣本圖片，用于訓(xùn)練與測(cè)試。原始行人及負(fù)樣本集來(lái)自INRIA、MIT樣本集以及網(wǎng)上收集的一些人物圖片。訓(xùn)練庫(kù)包含了2 500個(gè)正樣本和5 500個(gè)負(fù)樣本，部分正樣本圖片如圖4所示。

　　3.2 樣本HOG和LBP特征計(jì)算以及融合

　　本文實(shí)驗(yàn)中，樣本HOG特征計(jì)算步驟：對(duì)正負(fù)樣本集中每一幅大小32×32的灰度圖片（這里采用灰度圖片是考慮計(jì)算量大小的影響，并且對(duì)最終的檢測(cè)結(jié)果影響微小），計(jì)算矩形HOG特征描述子R-HOG，設(shè)定的Cell大小為8×8，Block的大小為16×16，滑動(dòng)步長(zhǎng)是以一個(gè)Cell的寬度大小，HOG特征計(jì)算的具體過(guò)程如下：

　　（1）為了減少光照等的影響，首先對(duì)樣本圖像進(jìn)行Gamma標(biāo)準(zhǔn)化，本實(shí)驗(yàn)中這一步驟省略。

　　（2）計(jì)算灰度圖像中各個(gè)像素點(diǎn)x方向和y方向的梯度，采用簡(jiǎn)單的[-1，0，1]模板計(jì)算梯度的方向和幅值。

　　（3）在每個(gè)Cell內(nèi)，設(shè)定投影方向?yàn)?個(gè)bin，用各個(gè)像素點(diǎn)的梯度幅值作為權(quán)重，投票統(tǒng)計(jì)各Cell的梯度方向加權(quán)直方圖，此直方圖的維數(shù)為9。

　?。?）對(duì)一個(gè)Block（Block之間有重疊）內(nèi)的4個(gè)Cell采用L2-norm進(jìn)行歸一化處理，然后統(tǒng)計(jì)4個(gè)Cell的梯度直方圖，維數(shù)為36。

　?。?）每幅圖像需要計(jì)算HOG特征向量的Block數(shù)目為：（（32-16）/8+1）（（32-16）/8+1），最后串聯(lián)圖像中所有的Block，計(jì)算得到的HOG特征向量的維數(shù)是：9×36=324維。

　　本實(shí)驗(yàn)中，樣本LBP特征計(jì)算步驟：對(duì)正負(fù)樣本集中每一幅大小為32×32的灰度圖片，采用基于滑動(dòng)窗口的LBP特征提取。滑動(dòng)窗口針對(duì)圖像算法的一般描述如下：在一幅大小為W×H的圖像中，按一定規(guī)律移動(dòng)w×h的窗口（W>>w，H>>h），對(duì)窗口內(nèi)像素點(diǎn)進(jìn)行一系列運(yùn)算，運(yùn)算結(jié)束后窗口向右或向下移動(dòng)一步，直至完成對(duì)整幅圖像的處理。設(shè)定窗口的大小為16×16，并設(shè)定窗口在水平方向和垂直方向的滑動(dòng)步長(zhǎng)為窗口寬度的一半。LBP特征計(jì)算的具體過(guò)程如下：

　?。?）對(duì)于每個(gè)窗口中的一個(gè)像素，采用算子LBP（表示半徑為1、含8個(gè)鄰域的環(huán)形，均勻模式）來(lái)計(jì)算LBP特征值。

　?。?）根據(jù)窗口內(nèi)計(jì)算的LBP特征值，計(jì)算每個(gè)窗口的直方圖，即每個(gè)LBP特征值出現(xiàn)的次數(shù)，然后采用L2-norm進(jìn)行歸一化處理，此直方圖的維數(shù)為59。

　?。?）每幅圖像需要計(jì)算LBP特征向量的窗口數(shù)目為：（（32-16）/8+1）（（32-16）/8+1），最后串聯(lián)圖像中所有窗口的統(tǒng)計(jì)直方圖，計(jì)算得到的LBP特征向量的維數(shù)是：9×59=531維。

　　最后，將樣本HOG特征向量和LBP特征向量串行連接形成聯(lián)合特征向量。

　　3.3 分類器訓(xùn)練

　　在目標(biāo)檢測(cè)分類器算法中，應(yīng)用比較廣泛的是線性SVM和AdaBoost算法。SVM在分類器過(guò)程中主要通過(guò)核函數(shù)，將線性不可分的低維空間轉(zhuǎn)換為線性可分的高維空間，但訓(xùn)練過(guò)程中，容易出現(xiàn)數(shù)據(jù)分類失衡的問(wèn)題。本文選擇了線性SVM分類器訓(xùn)練，并且使用交叉驗(yàn)證的方法選擇SVM最優(yōu)參數(shù)，使分類器對(duì)輸入的訓(xùn)練樣本分類精度最高。

　　3.4 實(shí)驗(yàn)結(jié)果與分析

　　本文用HOG特征、LBP特征以及本文的HOG-LBP融合特征，結(jié)合SVM分類器進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)測(cè)試圖像大小為352×384，算法基于OpenCV2.4.9修改，運(yùn)行在VS2012環(huán)境下，Inter Core i3-3220（3.30 GHz）的四核處理器和4 GB內(nèi)存的電腦上。實(shí)驗(yàn)結(jié)果如表1所示。

　　分析表1可知，采用SVM分類器進(jìn)行訓(xùn)練，HOG-LBP融合特征與HOG特征、LBP特征相比，能有效地降低誤檢率和漏檢率，但是由于融合特征的維數(shù)增加，融合特征檢測(cè)時(shí)間比單一特征的檢測(cè)時(shí)間要長(zhǎng)。

　　基于本文的HOG-LBP特征融合，結(jié)合SVM分類器，對(duì)INRIA庫(kù)測(cè)試集圖像進(jìn)行多尺度遍歷后的識(shí)別效果如圖5所示，其中圖5（a）、圖5（b）都進(jìn)行了較為準(zhǔn)確的多目標(biāo)檢測(cè)，其中圖5（a）中的人體頭肩有部分遮擋也可檢測(cè)出，圖5（b）中遠(yuǎn)處的人體頭肩也可檢測(cè)出。圖5（c）和圖5（d）展示了部分誤檢與漏檢，漏檢是由于人體頭肩的形變過(guò)大或遮擋引起，誤檢則是因?yàn)槲矬w的輪廓與人體頭肩輪廓很相似。

4 結(jié)束語(yǔ)

　　本文提出了一種基于HOG-LBP融合特征的人體頭肩的檢測(cè)方法，融合的特征不僅準(zhǔn)確地表征了人體頭肩輪廓信息，而且能夠?qū)θ梭w頭肩輪廓紋理有很好的描述。實(shí)驗(yàn)結(jié)果表明，本文所提的算法可以達(dá)到較好的識(shí)別效果。

參考文獻(xiàn)

　　[1] Zheng Jin， Zhang Wan， Li Bo. Pedestrain detection based on background modeling and head-shoulder recognition[C].IEEE International Conference on Wavelet Analysis and Pattern Recognition（ICWAPR），2012：227-232.

　　[2] Chen Juan， Wen Quan， Zhuo Chenglong， et al. Automatic head detection for passenger flow analysis in bus surveillance videos[C]. International Congress on Image and Signal Processing（CISP）.2012：143-147.

　　[3] Li Min， Zhang Zhaoxiang. Rapid and robust human detection and tracking based on omega-shape feature[C]. IEEE International Conference on Image Processing（ICIP），2009：2545-2548.

　　[4] Li Zhixuan， Zhao Yanyun. Pedestrian detection in single frame by edgelet-LBP part detectors[C]. IEEE International Conference on Advanced Video and Signal-Based Surveillance（AVSS），2013：420-425.

　　[5] DALAL N， TRIGGS D. Histograms of oriented gradients for human detection[C]. Proceedings of Conference on Computer Vision and Pattern Recognition， San Diego， 2005：886-893.

　　[6] OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary pattern[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002，24（7）：971-987.

　　[7] 顧炯，趙曙光，王宏斌.基于Joint HOG特征復(fù)雜場(chǎng)景下的頭肩檢測(cè)[J].電子設(shè)計(jì)工程，2012（7）：58-62.

　　[8] 黃炎，范賜恩，朱秋平，等.聯(lián)合梯度直方圖和局部二值模式特征的人體檢測(cè)[J].光學(xué)精密工程，2013（4）：1047-1052.

　　[9] Zhao Yang. Theories and applications of LBP： a survey[C].Zhengzhou： 7th International Conference on Intelligent Computing，2012：112-120.

　　[10] AHONEN T， ABDEOUR H， MATTI P. Face recognition with local binary patterns[C]. Proceedings of the 8th Europen Conference on Computer Vision， 2004：469-481.