張兆豐，吳澤民，杜麟，胡磊

　　(中國(guó)人民解放軍理工大學(xué) 通信工程學(xué)院，江蘇 南京 210007)

       摘要：針對(duì)目標(biāo)在圖像邊界上帶來(lái)的檢測(cè)誤差，提出了邊界顯著性算法。首先在多尺度下對(duì)圖像進(jìn)行超像素分割，計(jì)算邊界差異，估計(jì)其邊界顯著性。而后對(duì)所有超像素進(jìn)行模式挖掘，得到顯著性種子，并與邊界顯著性相結(jié)合。最后通過(guò)顯著性傳播得到最終顯著圖。在三個(gè)公開(kāi)的測(cè)試數(shù)據(jù)集上將本文提出算法與其他18種主流的現(xiàn)有算法進(jìn)行對(duì)比。大量實(shí)驗(yàn)結(jié)果表明，所提出的算法在不同數(shù)據(jù)集上都優(yōu)于目前主流算法。

　　關(guān)鍵詞：邊界顯著性；多尺度；模式挖掘；顯著性種子；顯著性傳播

　　中圖分類(lèi)號(hào)：TN919.85文獻(xiàn)標(biāo)識(shí)碼：ADOI： 10.19358/j.issn.1674-7720.2017.08.012

　　引用格式：張兆豐，吳澤民，杜麟，等.邊界顯著性與模式挖掘［J］.微型機(jī)與應(yīng)用，2017,36（8）：34-38.

0引言

　　*基金項(xiàng)目：國(guó)家自然科學(xué)基金（61501509）近年來(lái)，計(jì)算機(jī)視覺(jué)受到了眾多學(xué)者的關(guān)注，顯著性檢測(cè)作為降低計(jì)算復(fù)雜度的重要預(yù)處理過(guò)程，更是被廣泛應(yīng)用于目標(biāo)識(shí)別、目標(biāo)跟蹤以及圖像分割等相關(guān)領(lǐng)域。

　　顯著性檢測(cè)被劃分為兩個(gè)領(lǐng)域：一是眼動(dòng)點(diǎn)預(yù)測(cè)，這一類(lèi)模型被廣泛應(yīng)用于生物學(xué)、神經(jīng)學(xué)等認(rèn)知領(lǐng)域。另外就是本文所討論的顯著性目標(biāo)檢測(cè)。通常又將顯著性目標(biāo)檢測(cè)分為兩類(lèi)：自頂向下的任務(wù)驅(qū)動(dòng)方法，針對(duì)目標(biāo)的高級(jí)特征信息，通過(guò)大量樣本的訓(xùn)練進(jìn)行檢測(cè)。與之相反，自底向上的數(shù)據(jù)驅(qū)動(dòng)方法通常利用顏色、紋理以及空間分布等低級(jí)特征獲取顯著圖。早期的一些方法基于中心優(yōu)先，通過(guò)計(jì)算目標(biāo)與其周?chē)h(huán)境對(duì)比度得到顯著圖。自從Wei Yichen［1］首先提出利用圖像邊界作為背景的思路后，越來(lái)越多的算法采用背景優(yōu)先或邊界優(yōu)先，并取得了較好的檢測(cè)效果。這類(lèi)方法通常將邊界區(qū)域作為背景，雖然大多數(shù)情況下圖像邊界很有可能成為背景，但是對(duì)于傳統(tǒng)的背景優(yōu)先算法將所有的邊界歸為背景并不合理。

　　本文主要針對(duì)上述問(wèn)題，提出邊界顯著性，并與模式挖掘相結(jié)合，從而同時(shí)利用目標(biāo)和邊界特征，更好地將多特征整合。最終得到的結(jié)果優(yōu)于其他先進(jìn)算法。

1相關(guān)工作

　　早期的一些圖像顯著性檢測(cè)算法，通常是基于中心優(yōu)先。這一類(lèi)算法大多從圖像中顯著目標(biāo)與背景區(qū)域?qū)Ρ榷炔町惖慕嵌瘸霭l(fā)，計(jì)算局部或者全局對(duì)比度。但是基于對(duì)比度的中心優(yōu)先算法存在以下缺陷：首先對(duì)于局部對(duì)比度，目標(biāo)的邊緣區(qū)域與背景特征差別較大，對(duì)比度自然較高，但是目標(biāo)內(nèi)部對(duì)比度相差不大的，反映到最終的顯著圖上很容易造成目標(biāo)相對(duì)清晰高亮，而內(nèi)部模糊不清，整體性較差。而對(duì)于全局對(duì)比度，當(dāng)背景特征與目標(biāo)相似時(shí)誤檢的可能性較高。而且基于中心優(yōu)先的算法對(duì)目標(biāo)的所在位置與尺寸大小有較強(qiáng)的針對(duì)性，對(duì)于大尺寸目標(biāo)和目標(biāo)在邊界上這類(lèi)情況，檢測(cè)效果往往較差。

　　區(qū)別于中心優(yōu)先，近來(lái)，越來(lái)越多的顯著性檢測(cè)算法利用背景優(yōu)先構(gòu)建顯著圖。Wei Yichen最早提出背景優(yōu)先這一概念，將圖像邊界默認(rèn)為背景，對(duì)分割后的圖像，計(jì)算分割塊到邊界的測(cè)地線距離來(lái)衡量其顯著性。文獻(xiàn)［2］在此基礎(chǔ)上提出了邊界連通度這一概念，并給出了可以推廣到其他模型上的優(yōu)化算法。諸如此類(lèi)的背景優(yōu)先算法大多有一個(gè)共同的缺陷，對(duì)于所有邊界都不加區(qū)分地作為背景對(duì)待，因此對(duì)于目標(biāo)在邊界上這類(lèi)情況，檢測(cè)效果沒(méi)有從根本上得到提升。

　　為了更好地解決目標(biāo)在邊界上帶來(lái)的一系列問(wèn)題，本文提出了一種邊界顯著性算法，并與模式挖掘相結(jié)合。圖1為本文算法流程圖，首先對(duì)輸入圖像在多尺度上進(jìn)行超像素分割，而后對(duì)所有邊界計(jì)算邊界差異，從而估計(jì)其邊界顯著性。同時(shí)對(duì)所有超像素進(jìn)行模式挖掘，得到顯著性種子，并結(jié)合邊界顯著性結(jié)果，對(duì)得到的種子加以顯著性傳播，最終得到顯著圖。

　　2圖的構(gòu)建

　　目前超像素分割已經(jīng)融入到計(jì)算機(jī)視覺(jué)、模式識(shí)別等各個(gè)研究領(lǐng)域。利用超像素作為圖像處理的基本單元，大幅度降低了直接處理像素的算法復(fù)雜度。本文選取了簡(jiǎn)單線性迭代聚類(lèi)（Simple Linear Iterative Clustering ，SLIC）［3］進(jìn)行超像素分割，不僅基本保留了圖像原本的結(jié)構(gòu)化信息，而且使得到的區(qū)域如同細(xì)胞一樣排列比較緊湊規(guī)整，可以把以前基于像素的方法加以改造后應(yīng)用，統(tǒng)計(jì)特征也比較好保持。

　　對(duì)于一般圖像而言，圖像中的物體尺度各不相同，待檢測(cè)的顯著目標(biāo)也就會(huì)有多種尺度。因此最終的顯著性檢測(cè)的結(jié)果與超像素的數(shù)量是有很大關(guān)系的，如果從單一尺度進(jìn)行顯著性檢測(cè)，很有可能導(dǎo)致最終檢測(cè)不準(zhǔn)確。為了最大程度降低尺度上帶來(lái)的影響，本文在三個(gè)不同尺度上對(duì)圖像進(jìn)行分割，超像素個(gè)數(shù)分別是300，400和500。以超像素V為節(jié)點(diǎn)，鄰接超像素之間為邊E，構(gòu)造一個(gè)無(wú)向加權(quán)圖G=(V,E)。相鄰節(jié)點(diǎn)間權(quán)重定義如下：

　　其中ci和cj分別代表節(jié)點(diǎn)i和j在CIELab色彩空間上的平均顏色值，ci－cj代表兩個(gè)節(jié)點(diǎn)在CIELab色彩空間上的歐氏距離。σ是權(quán)重控制參數(shù)，反映了超像素之間的差異，一般手動(dòng)設(shè)置其大小。當(dāng)圖像中顏色差異較大時(shí)，σ的值相應(yīng)較大；當(dāng)圖像整體顏色差異較小時(shí)，σ的值相應(yīng)較小。參照文獻(xiàn)［4］依據(jù)超像素顏色的差異來(lái)自適應(yīng)計(jì)算σ值:

　　其中，m=14N2s∑Nsi,j=1ci－cj，Ns 表示超像素的總數(shù)。

3邊界顯著性與模式挖掘

　　3.1邊界顯著性

　　現(xiàn)有的顯著性檢測(cè)算法對(duì)于普通的目標(biāo)與背景區(qū)分效果較好，但是當(dāng)目標(biāo)的一部分位于邊界上時(shí)，如圖2所示，很多基于背景優(yōu)先的算法也無(wú)法給出較好的檢測(cè)結(jié)果。這是由于傳統(tǒng)基于背景優(yōu)先的檢測(cè)算法沒(méi)有對(duì)邊界加以區(qū)分，直接把所有邊界都當(dāng)作背景處理所導(dǎo)致的。因此本文提出了邊界顯著性這一概念，對(duì)邊界上目標(biāo)出現(xiàn)的可能性進(jìn)行估計(jì)，從而提升最終檢測(cè)效果。

　　通過(guò)對(duì)大量圖像樣本的統(tǒng)計(jì)發(fā)現(xiàn)，對(duì)于目標(biāo)在邊界上的圖像，如果把所有邊界超像素視為一個(gè)連通區(qū)域，大多數(shù)情況下只有相對(duì)較小的一部分是顯著目標(biāo)，而且顯著目標(biāo)和背景往往在顏色分布上有著明顯的區(qū)別。因此借鑒文獻(xiàn)［5］、［6］，在RGB色彩空間上分別計(jì)算邊界的像素分布。

　　其中B={top, bottom, left, right}代表圖像的四條邊界，h=0,1,2，…，255代表不同的亮度區(qū)間，NB代表邊界連通區(qū)域像素總數(shù)，Ip代表像素p的亮度，δ(·)表示單位脈沖響應(yīng)函數(shù)。然后計(jì)算邊界像素分布間的馬氏距離（Mahalanobis Distance, MD），構(gòu)造邊界差異矩陣：

　　其中MDcolor(B1,B2)表示在不同顏色通道下，邊界B1和B2之間的馬氏距離。color=

　　其中Ccolor表示在不同顏色通道下的協(xié)方差矩陣。得到4×4的邊界差異矩陣D，將矩陣每一列元素加和，最終得到每條邊界與其他邊界的差異度：

　　dn=∑4m=1D(Bn,Bm)（6）

　　以負(fù)指數(shù)函數(shù)估計(jì)邊界上存在目標(biāo)的概率從而表示邊界顯著性：

　　S(Bn)=1－exp(－(dn/dmin－1))（7）

　　其中dmin=min{di}i=1，…，4為差異度最小的邊界，即邊界上存在目標(biāo)的可能性最小，因此邊界顯著性為0。其余邊界差異度越大，目標(biāo)在邊界上的可能性就越大，與之對(duì)應(yīng)的邊界顯著性越大。

　　3.2基于邊界顯著性改進(jìn)的模式挖掘算法

　　模式挖掘最早應(yīng)用在市場(chǎng)營(yíng)銷(xiāo)分析，近年來(lái)逐漸被應(yīng)用到計(jì)算機(jī)視覺(jué)領(lǐng)域。文獻(xiàn)［7］利用模式挖掘，在先驗(yàn)顯著圖的基礎(chǔ)上尋找可靠的種子節(jié)點(diǎn)：

　　supp(A)>t1

　　conf(A→pos)>t2（8）

　　其中supp(·)代表支持度，conf(·)代表置信度，A代表頻繁項(xiàng)集，pos代表正樣本（即顯著）標(biāo)簽，t1和t2分別是支持度和置信度的篩選閾值參數(shù)，根據(jù)文獻(xiàn)［7］分別設(shè)置為90%和20%。最終得到的顯著性種子集合記為L(zhǎng)。f={f1,f2,…，fNs}T代表節(jié)點(diǎn)標(biāo)簽向量，結(jié)合第3節(jié)中提到的邊界顯著性，對(duì)f初始化如下：

　　對(duì)于模式挖掘得到的顯著性種子，初始化為1；對(duì)于不是顯著性種子但位于邊界上的節(jié)點(diǎn)，按其邊界顯著度初始化；對(duì)于其他節(jié)點(diǎn)則初始化為0。

　　而后利用隨機(jī)游走模型進(jìn)行顯著性傳播：

　　公式(10)~(12)分別代表隨機(jī)游走（Random Walking, RW）、拉普拉斯算子（Laplacian, La）、先驗(yàn)顯著圖（Priori Saliency, PS）。N(i)代表節(jié)點(diǎn)i的鄰接節(jié)點(diǎn)，yi代表先驗(yàn)顯著圖中節(jié)點(diǎn)i的顯著值，α和β 是權(quán)重控制參數(shù)，分別取值0.5和0.01。

　　argminf{RW+La+PS}

　　s.t.fi=1,i∈L（13）

　　公式(13)中分別考慮了傳統(tǒng)的隨機(jī)游走、二次拉普拉斯算子、先驗(yàn)顯著圖對(duì)于最終顯著檢測(cè)結(jié)果的影響。

4實(shí)驗(yàn)結(jié)果

　　4.1實(shí)驗(yàn)設(shè)置

　　測(cè)試數(shù)據(jù)集：本文在3個(gè)公開(kāi)數(shù)據(jù)集對(duì)提出的算法進(jìn)行測(cè)試，并與其他18種顯著性檢測(cè)模型做橫向比對(duì)。下面分別說(shuō)明本文使用的3個(gè)數(shù)據(jù)集的不同特點(diǎn)。

　　MSRA：1 000張圖像，含有像素級(jí)的真值標(biāo)準(zhǔn)，大部分圖像為單一目標(biāo)，但是很多圖像中目標(biāo)在邊界上，存在一定的挑戰(zhàn)性。

　　SED2：100張圖像，含有像素級(jí)的真值標(biāo)準(zhǔn)，雖然圖像規(guī)模較小，但是所有圖像都存在兩個(gè)目標(biāo)，并且大多數(shù)目標(biāo)位于邊界上，挑戰(zhàn)難度很大。

　　ECSSD：1 000張圖像，含有像素級(jí)的真值標(biāo)準(zhǔn)。背景比較復(fù)雜，存在很多大尺度目標(biāo)而且有很多位于邊界上的目標(biāo)，挑戰(zhàn)難度很大。

　　對(duì)比算法：SR，F(xiàn)T，LC，HC，SF，GS，RC，GC，PCA，HS，MR，MC，DSR，HDCT，RBD，RRWR，wCOBD和PM。其中GS［1］，MR［8］，MC［9］，DSR［10］，RBD［2］和wCOBD［11］為近年來(lái)比較優(yōu)秀的基于背景優(yōu)先的顯著性檢測(cè)算法。

　　評(píng)價(jià)指標(biāo)：為了更加全面地衡量本文提出算法的檢測(cè)性能，通過(guò)準(zhǔn)確度召回率（PrecisionRecall，PR）曲線、Fmeasure、平均絕對(duì)誤差（Mean Absolute Error，MAE）和AUC（Area Under ROC（Receiver Operating Characteristics，接收者操作特性） Curve，ROC曲線下面積）對(duì)所有算法進(jìn)行評(píng)價(jià)。

　　本文所有試驗(yàn)都是在MATLAB平臺(tái)上實(shí)現(xiàn)的，所應(yīng)用的計(jì)算機(jī)配置為Intel E52620，CPU 2 GHz，96 GB RAM。

　　4.2定性分析

　　圖3展示了包括本文所提出的算法在內(nèi)共19中顯著檢測(cè)模型最終生成的顯著圖。其中既包含了經(jīng)典的中心優(yōu)先算法，也包含了近年來(lái)優(yōu)秀的背景優(yōu)先算法。選取了不同類(lèi)型的圖像作為示例加以說(shuō)明。對(duì)于第一個(gè)檢測(cè)樣本，目標(biāo)表現(xiàn)出不同的顏色特征（蝴蝶翅膀黑白相間），一些算法不能很好地給出完整一致的目標(biāo)整體，而且圖像邊界上存在干擾目標(biāo)。對(duì)于第二個(gè)檢測(cè)樣本，背景區(qū)域和前景目標(biāo)顏色區(qū)分較小，導(dǎo)致一些基于顏色對(duì)比度的檢測(cè)算法檢測(cè)失敗。對(duì)于第三個(gè)檢測(cè)樣本，目標(biāo)內(nèi)部顏色對(duì)比度明顯，導(dǎo)致部分算法對(duì)目標(biāo)整體性估計(jì)不足（大多只能較好地檢測(cè)黃色花蕊，但是對(duì)于紅色花瓣檢測(cè)效果欠佳），而且背景區(qū)域存在小尺度噪聲。第四和第五個(gè)檢測(cè)樣本顯著目標(biāo)均位于邊界上，而且在第五個(gè)檢測(cè)樣本中背景區(qū)域存在其他干擾目標(biāo)，導(dǎo)致部分算法對(duì)于邊界目標(biāo)顯著性估計(jì)不足。

　　本文算法由于結(jié)合了邊界顯著性與模式挖掘，在原有基礎(chǔ)上加強(qiáng)了對(duì)邊界信息的處理能力，而且由于在多尺度上計(jì)算，很大程度上避免了不同尺度噪聲帶來(lái)的影響。對(duì)于不同場(chǎng)景檢測(cè)效果較好，魯棒性較強(qiáng)。

　　4.3定量分析

　　本文首先利用P-R曲線對(duì)所有算法進(jìn)行評(píng)價(jià)。在計(jì)算機(jī)視覺(jué)領(lǐng)域，P-R曲線是一種常用指標(biāo)。首先將得到的圖5三個(gè)數(shù)據(jù)集上不同算法的Fmeasure曲線顯著圖量化到［0,255 ］區(qū)間內(nèi)，按照一定的閾值分割得到二值圖，然后參照真值圖，計(jì)算準(zhǔn)確度和召回率。

　　如圖4所示，在三個(gè)數(shù)據(jù)集上測(cè)試結(jié)果顯示，本文所提算法與其他算法相比，檢測(cè)結(jié)果表現(xiàn)較好。

　　通常準(zhǔn)確度和召回率難以同時(shí)保證，為了綜合評(píng)價(jià)顯著圖的質(zhì)量，本文采用Fmeasure曲線進(jìn)一步對(duì)所有算法進(jìn)行評(píng)價(jià)。其實(shí)質(zhì)是準(zhǔn)確度和召回率的調(diào)和平均。

　　圖5給出了本文算法與其他算法的F-measure曲線，可以看出本文算法整體上優(yōu)于其他算法。

　　為了進(jìn)一步對(duì)所有算法進(jìn)行比較，還分別計(jì)算了不同算法的AUC。AUC值可以很好地反映不同算法的正確率和誤警率。表1給出了不同算法的AUC值。

　　最后，用MAE來(lái)衡量顯著圖與真值之間的相似程度，其值在［0, 1］區(qū)間內(nèi)，值越小代表性能越好。表2給出了所有算法的MAE值，反映出本文所提算法在不同數(shù)據(jù)集上都與真值更加接近。

　　從上述四種評(píng)價(jià)指標(biāo)的結(jié)果來(lái)看，尤其是與GS，MR，MC，DSR，RBD和wCOBD這些基于背景優(yōu)先的檢測(cè)算法相比，本文算法性能有所提升，證明本文所提出的邊界顯著性的有效性，而且在不同數(shù)據(jù)集上均有相對(duì)較好的表現(xiàn)，證明了本文算法有較強(qiáng)的魯棒性。

5結(jié)論

　　本文提出了邊界顯著性算法。在多個(gè)尺度上對(duì)圖像進(jìn)行處理，從而降低了目標(biāo)尺度不同造成的檢測(cè)誤差。并與模式挖掘像結(jié)合，有效地解決了目前算法對(duì)于邊界的顯著性估計(jì)不足的問(wèn)題。在三個(gè)數(shù)據(jù)集上，對(duì)本文所提模型與其他18種先進(jìn)顯著性檢測(cè)模型進(jìn)行對(duì)比，大量實(shí)驗(yàn)說(shuō)明本文模型能夠取得更好的檢測(cè)結(jié)果，有較強(qiáng)的魯棒性。

參考文獻(xiàn)

　?。?］ Wei Yichen, Wen Fang, Zhu Wangjiang, et al. Geodesic saliency using background priors［C］. 12th European Conference on Computer Vision (ECCV), Florence, Italy, 2012: 29-42.

　　［2］ Zhu Wangjiang, Liang Shuang, Wei Yichen, et al. Saliency optimization from robust background detection［C］.IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Columbus, USA, 2014: 2814-2821.

　?。?］ ACHANTA R,SHAJI A, SMITH K, et al. Slic superpixels compared to stateoftheart superpixel methods［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2281.

　?。?］ 劉杰, 王生進(jìn). 融合聚類(lèi)與排序的圖像顯著區(qū)域檢測(cè)［J］. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016(9):913-919.

　?。?］ 楊雪. 基于視覺(jué)感知的圖像顯著區(qū)域的提?。跩］. 微型機(jī)與應(yīng)用, 2015, 34(2):47-48.

　?。?］ LI Changyang, Yuan Yuchen,Cai Weidong, et al. Robust saliency detection via regularized random walks ranking［C］. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015:2710-2717.

　?。?］ Kong Yuqiu, Wang Lijun, Liu Xiuping, et al. Pattern Mining Saliency［C］. 15th European Conference on Computer Vision (ECCV), Amsterdam, Holland, 2016: 583-598.

　　［8］ Yang Chuan, Zhang Lihe, Lu Huchuan, et al. Saliency detection via graphbased manifold ranking［C］. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Portland, USA, 2013. 31663173.

　?。?］ Jiang Bowen, Zhang Lihe, Lu Huchuan, et al. Saliency detection via absorbing Markov chain［C］. IEEE Conference on Computer Vision (ICCV), Sydney, Australia, 2013: 1665-1672.

　?。?0］ Li Xiaohui, Lu Huchuan, Zhang Lihe, et al. Saliency detection via dense and sparse reconstruction［C］. IEEE Conference on Computer Vision (ICCV), Sydney, Australia, 2013: 2976-2983.

　?。?1］ Jiang Qingzhu, Wu Zemin, Tian Chang, et al. Salient object detection based on discriminative boundary and multiple cues integration［J］. Journal of Electronic Imaging, 2016, 25(1): 1-14.