文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.181959
中文引用格式: 吳曉元,常海濤,茍軍年. Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究[J].電子技術(shù)應(yīng)用,2019,45(1):76-80.
英文引用格式: Wu Xiaoyuan,Chang Haitao,Gou Junnian. Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning[J]. Application of Electronic Technique,2019,45(1):76-80.
0 引言
深度學(xué)習(xí)的興起帶動(dòng)了卷積神經(jīng)網(wǎng)絡(luò)(CNN)的發(fā)展,如今一系列的CNN改進(jìn)網(wǎng)絡(luò)如雨后春筍般地出現(xiàn),如當(dāng)前興盛的Faster R-CNN網(wǎng)絡(luò)被廣泛地應(yīng)用于圖像檢測(cè)領(lǐng)域。Faster R-CNN用于目標(biāo)定位時(shí),定位出的區(qū)域內(nèi)往往會(huì)出現(xiàn)目標(biāo)邊緣較為模糊的情況,其目標(biāo)不是理想的階躍型邊緣,而是弱邊緣[1]。對(duì)于工件來(lái)說(shuō),缺陷只占圖像很小的比例,尤其是氣泡和夾渣,鄰域間的灰度差異也不明顯。針對(duì)這種情況,必須采用恰當(dāng)?shù)乃惴ú拍軐?shí)現(xiàn)工件的精確分割。
閾值法因簡(jiǎn)單而被大量應(yīng)用在圖像分割領(lǐng)域。其中,應(yīng)用最廣泛的有最大熵閾值法和Otsu閾值法。
Pun最早將信息熵定義引用到圖像分割領(lǐng)域,隨后Kapur等提出了最大香農(nóng)信息熵閾值法[2]。文獻(xiàn)[3]采用了最大熵閾值法及其改進(jìn)算法進(jìn)行圖像的分割。
Otsu閾值法由于高效而被視為最佳的閾值選取法。如文獻(xiàn)[4]采用了二維直方圖Otsu法;文獻(xiàn)[5]提出了三維直方圖重建的Otsu閾值法。
近些年來(lái),邊緣檢測(cè)法(如數(shù)學(xué)形態(tài)學(xué))被廣泛地應(yīng)用于圖像分割領(lǐng)域。文獻(xiàn)[6]將數(shù)學(xué)形態(tài)學(xué)與Otsu分割算法結(jié)合,取得了比直接分割方法更好的效果。
因此,本文結(jié)合文獻(xiàn)[6]的思想,提出了將形態(tài)學(xué)和上述兩類閾值法相結(jié)合的方法。實(shí)驗(yàn)結(jié)果證明了本文算法對(duì)工件缺陷的弱邊緣和小目標(biāo)都能準(zhǔn)確地分割出來(lái),較直接分割法有更佳的效果。
1 圖像分割理論的概述
1.1 形態(tài)學(xué)重建
圖像形態(tài)學(xué)是在數(shù)學(xué)形態(tài)學(xué)的基礎(chǔ)上發(fā)展而來(lái)的非線性圖像處理方法,通過(guò)具有一定形態(tài)的結(jié)構(gòu)元素對(duì)圖像進(jìn)行“探測(cè)”,從而得到物體更本質(zhì)的形態(tài),便于對(duì)圖像進(jìn)行分析和識(shí)別[7]。
本文將形態(tài)學(xué)開(kāi)閉重建算法用于圖像濾波,其重建的流程如圖1所示。
1.2 Otsu閾值分割
Otsu閾值法又叫最大類間差分法[8],該算法假設(shè)一幅圖像由前景和背景組成,通過(guò)統(tǒng)計(jì)學(xué)的方法選取一個(gè)閾值,運(yùn)用該閾值使得圖像的前景和背景盡可能地分開(kāi)。設(shè)一幅圖像的灰度值是1~L,閾值t從1~L變化,其中使類間方差達(dá)到最大的t*為最佳閾值。
當(dāng)目標(biāo)相對(duì)背景尺寸較小時(shí),或圖像中有多余兩類目標(biāo)時(shí),可以推廣為多個(gè)閾值的選取,從而實(shí)現(xiàn)圖像的多閾值分割。
1.3 最大熵閾值分割
根據(jù)灰度級(jí)別,用閾值t把圖像劃分為背景和目標(biāo)兩類,求使背景熵與目標(biāo)熵之和達(dá)到最大的最優(yōu)閾值的方法就是最大熵閾值分割法[8]。
設(shè)目標(biāo)熵和背景熵分別為HO(t)和HB(t),則熵函數(shù)定義為:
使式(1)取值達(dá)到最大的t*就是最佳閾值。
2 算法流程及步驟
針對(duì)工件弱邊緣和小目標(biāo)缺陷在分割時(shí)易出現(xiàn)過(guò)分割或欠分割的現(xiàn)象,本文研究了一種精確分割的算法,具體流程如圖2所示。
上述根據(jù)缺陷的類型進(jìn)行分布操作,是因?yàn)閵A渣和另兩種缺陷的灰度分布相反。如果采用相同的操作,將不能實(shí)現(xiàn)正確的分割。
3 實(shí)驗(yàn)結(jié)果及分析
3.1 分割實(shí)驗(yàn)與結(jié)果
仿真實(shí)驗(yàn)是在MATLAB R2014a環(huán)境下編程完成的,分割結(jié)果如圖3~圖5所示。
圖3是裂紋缺陷的分割圖。其中,圖3(a)為定位好的裂紋圖像;圖3(b)為裂紋區(qū)域的提取圖像;圖3(c)為對(duì)裂紋進(jìn)行形態(tài)學(xué)重建后的結(jié)果;圖3(d)為重建后的裂紋又進(jìn)行Otsu雙閾值變換后的圖像;圖3(e)為最終的分割結(jié)果;圖3(f)是圖3(e)的邊界提取結(jié)果;圖3(g)是裂紋區(qū)域的列灰度變化曲線圖,反映了相鄰兩列的灰度差異。由該圖可看出,列灰度曲線很平穩(wěn),即裂紋與周?chē)尘皼](méi)有明顯的灰度差異。從圖3(e)和圖3(f)可看出,本文算法對(duì)灰度過(guò)渡不明顯的裂紋實(shí)現(xiàn)了良好的分割。
圖4是氣泡缺陷的分割圖。從圖4(e)和圖4(f)可看出,本文算法對(duì)弱小的氣泡實(shí)現(xiàn)了精確的分割。
圖5是夾渣缺陷的分割圖。從圖5(b)可以看出在提取出的夾渣區(qū)域1和2中,包含了一部分細(xì)長(zhǎng)的黑色背景區(qū)域;同時(shí)夾渣2的右側(cè)存在過(guò)渡區(qū)域。從圖5(e)和圖5(f)看出,采用本文的分割算法實(shí)現(xiàn)了夾渣1和2的良好分割。
上述結(jié)果和分析表明,本文算法有較好的泛化能力,不僅準(zhǔn)確地分割了具有明顯灰度對(duì)比度的氣泡缺陷,而且對(duì)灰度對(duì)比差異不明顯的裂紋缺陷或者是有過(guò)渡區(qū)域的夾渣缺陷,都實(shí)現(xiàn)了良好的分割。
3.2 對(duì)比實(shí)驗(yàn)
為了進(jìn)一步驗(yàn)證本文所研究算法對(duì)缺陷分割的準(zhǔn)確性,在此設(shè)計(jì)對(duì)比實(shí)驗(yàn)。對(duì)比實(shí)驗(yàn)采用最大熵閾值分割法和Otsu雙閾值分割法。
3.2.1 分割結(jié)果的定性分析
將對(duì)比實(shí)驗(yàn)的結(jié)果與本文實(shí)驗(yàn)的結(jié)果進(jìn)行比較和分析,如圖6~圖8所示。
對(duì)圖6裂紋分割對(duì)比圖進(jìn)行分析,從圖6(a)可以看出,對(duì)于灰度對(duì)比差異不明顯的裂紋,最大熵閾值法和Otsu閾值法的分割結(jié)果均出現(xiàn)了嚴(yán)重的誤分割現(xiàn)象,如圖6(b)和圖6(d)所示。而采用本文的算法能實(shí)現(xiàn)裂紋的精確分割,如圖6(f)所示;同時(shí),圖6(g)表明,提取的邊界與裂紋具有很高的吻合度。
對(duì)圖7氣泡分割對(duì)比圖進(jìn)行分析,為清晰地觀察氣泡的輪廓,對(duì)圖7(a)進(jìn)行預(yù)處理,即得到圖4(b),把它與圖7(b)、圖7(c)、圖7(d)和圖7(e)進(jìn)行對(duì)比,表明最大熵閾值法和Otsu閾值法不能分割出氣泡灰度極弱的邊緣;而與圖7(f)和圖7(g)對(duì)比,可以看出本文算法很好地分割出了氣泡的弱邊緣,實(shí)現(xiàn)了精確的分割。
對(duì)圖8夾渣分割對(duì)比圖進(jìn)行分析,圖8(b)、圖8(c)、圖8(d)和圖8(e)表明,最大熵閾值法和Otsu閾值分割法對(duì)夾渣1和2均產(chǎn)生了誤分割現(xiàn)象,即將一部分與夾渣灰度相近的背景分割出來(lái)了;同時(shí),對(duì)于夾渣2還存在過(guò)分割現(xiàn)象。而圖8(f)和圖8(g)表明了本文分割算法的正確性。
3.2.2 分割結(jié)果的定量分析
為了說(shuō)明算法具有客觀性和準(zhǔn)確性,本文引入了分割精度、均方根誤差和相關(guān)性系數(shù)三項(xiàng)指標(biāo)[9]對(duì)上面3種算法的結(jié)果分別進(jìn)行量化評(píng)價(jià)。
分割精度的計(jì)算按照如下公式:
其中,SA表示分割精度,RS為手動(dòng)勾畫(huà)出的分割圖像的參考面積,TS為分割結(jié)果的真實(shí)面積,|RS-TS|為錯(cuò)分割的像素點(diǎn)個(gè)數(shù)。
分割精度的值越大,分割結(jié)果越好;均方根誤差(Root Mean Square Error,RMSE)的值越小,分割結(jié)果越接近于理想狀態(tài);相關(guān)性系數(shù)γ的值越大,分割結(jié)果與參考圖像的相似度越高。
上述3種實(shí)驗(yàn)結(jié)果的評(píng)價(jià)見(jiàn)表1。由表1可知,對(duì)于灰度對(duì)比差異不明顯的裂紋缺陷,最大熵閾值法和Otsu閾值法的分割結(jié)果都不是很好,尤其是Otsu閾值法的效果極差,而本文算法實(shí)現(xiàn)的結(jié)果較優(yōu);對(duì)于有明顯灰度差異的氣泡,本文算法較另外兩種算法能很好地分割出邊緣細(xì)節(jié);對(duì)于含有過(guò)渡區(qū)域的夾渣缺陷,最大熵閾值法和Otsu閾值法的分割效果很接近,它們均不能很好地分割出目標(biāo),而本文算法具有較大的分割精度、較小的均方根誤差和較高的相關(guān)性系數(shù),因此實(shí)現(xiàn)了較好的分割效果。
3.3 缺陷的測(cè)量
缺陷分割的目的是對(duì)缺陷進(jìn)行分析和測(cè)量,因此,深入地了解缺陷的形狀、大小及空間位置是非常重要的。本文選取了面積、周長(zhǎng)、面積周長(zhǎng)比、長(zhǎng)寬比(即最小外接矩形的長(zhǎng)寬比)和缺陷面積與定位區(qū)域的比5個(gè)指標(biāo)來(lái)測(cè)量缺陷,其中,面積和周長(zhǎng)均用像素點(diǎn)的個(gè)數(shù)來(lái)計(jì)算,具體統(tǒng)計(jì)結(jié)果見(jiàn)表2。
由表2中缺陷面積與定位區(qū)域的比值可知,本文研究的工件缺陷都以小目標(biāo)的形式存在,再結(jié)合表1中本文算法對(duì)應(yīng)的各類缺陷評(píng)價(jià)指標(biāo)的值,驗(yàn)證了本文算法對(duì)小目標(biāo)缺陷分割的有效性。
4 結(jié)束語(yǔ)
本文在Faster R-CNN定位的基礎(chǔ)上,針對(duì)大部分的工業(yè)工件存在缺陷,且許多以弱邊緣或小面積的形式存在的現(xiàn)狀,利用形態(tài)學(xué)重建、最大熵閾值法和Otsu雙閾值分割法,提出了一種可實(shí)現(xiàn)工業(yè)CT圖像缺陷精確分割的算法。該算法不存在誤分割或過(guò)分割現(xiàn)象;同時(shí),用對(duì)比實(shí)驗(yàn)從定性和定量的角度,分別驗(yàn)證了本文算法的優(yōu)越性。本文算法具有較好的應(yīng)用價(jià)值。
參考文獻(xiàn)
[1] 馮小雨,梅衛(wèi),胡大帥.基于改進(jìn)Faster R-CNN的空中目標(biāo)檢測(cè)[J].光學(xué)學(xué)報(bào),2018,38(6):0615004.
[2] 常海濤,茍軍年,李曉梅.分形維-最大熵閾值的弱邊緣工業(yè)CT圖像分割算法[J].蘭州交通大學(xué)學(xué)報(bào),2018,37(1):45-50.
[3] 李鋒,闞建霞.基于Sobel算子的圖像快速二維最大熵閾值分割算法[J].計(jì)算機(jī)科學(xué),2015,42(6):209-210.
[4] 龔劬,付云鳳,葉劍英,等.基于二維直方圖重建的Otsu圖像分割算法[J].計(jì)算機(jī)科學(xué),2013,40(8):313-315.
[5] 申鉉京,龍建武,陳海鷹,等.三維直方圖重建和降維的Otsu閾值分割算法[J].電子學(xué)報(bào),2011,39(5):1108-1114.
[6] 朱言江,韓震,和思海,等.基于最大類間方差法與數(shù)學(xué)形態(tài)學(xué)的遙感圖像潮溝提取方法[J].上海海洋大學(xué)學(xué)報(bào),2017,26(1):146-153.
[7] 鄧仕超,黃寅.二值圖像膨脹腐蝕的快速算法[J].計(jì)算機(jī)工程與應(yīng)用,2017,53(5):207-209.
[8] 胡學(xué)龍.數(shù)字圖像處理[M].北京:電子工業(yè)出版社,2014.
[9] 周莉莉,姜楓.圖像分割方法綜述研究[J].計(jì)算機(jī)應(yīng)用研究,2017,34(7):1921-1928.
作者信息:
吳曉元1,常海濤1,茍軍年1,2
(1.蘭州交通大學(xué) 自動(dòng)化與電氣工程學(xué)院,甘肅 蘭州730070;
2.蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室,甘肅 蘭州730070)