《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 嵌入式技術(shù) > 設(shè)計應(yīng)用 > Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究
Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究
2019年電子技術(shù)應(yīng)用第1期
吳曉元1，常海濤1，茍軍年1，2
1.蘭州交通大學(xué) 自動化與電氣工程學(xué)院，甘肅 蘭州730070； 2.蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點實驗室，甘肅 蘭州730070
摘要： 由Faster R-CNN定位的缺陷區(qū)域內(nèi)存在弱邊緣，若直接采用常規(guī)分割算法對該小區(qū)域進行處理，會出現(xiàn)嚴(yán)重的過分割或欠分割現(xiàn)象。在此研究了一種針對Faster R-CNN定位后的工件缺陷的精確閾值分割法。在利用形態(tài)學(xué)開閉重建算法對定位區(qū)域進行重建，并對重建后的圖像用Otsu雙閾值法做變換處理的基礎(chǔ)上，進一步利用最大熵閾值分割法對變換后的圖像進行分割，最終對分割出的缺陷進行面積、周長等參數(shù)的測量。實驗結(jié)果表明，所研究算法較常規(guī)的算法對工件的缺陷（裂紋、氣泡和夾渣）有更好的分割能力。該算法不僅可以準(zhǔn)確地分割出包含弱邊緣的目標(biāo)，還可以有效排除輪廓背景對分割的干擾。
中圖分類號： TP391
文獻標(biāo)識碼： A
DOI：10.16157/j.issn.0258-7998.181959
中文引用格式： 吳曉元，常海濤，茍軍年. Faster R-CNN定位后的工業(yè)CT圖像缺陷分割算法研究[J].電子技術(shù)應(yīng)用，2019，45(1)：76-80.
英文引用格式： Wu Xiaoyuan，Chang Haitao，Gou Junnian. Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning[J]. Application of Electronic Technique，2019，45(1)：76-80.
Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning
Wu Xiaoyuan1，Chang Haitao1，Gou Junnian1，2
1.School of Automation and Electrical Engineering，Lanzhou Jiao-tong University，Lanzhou 730070，China； 2.Key Laboratory of Optoelectronic Technology and Intelligent Control Ministry of Education， Lanzhou Jiao-tong University，Lanzhou 730070，China
Abstract： The defect area located by Faster R-CNN has weak edges. The area would be over-segmented or under-segmented if conventional segmentation algorithm is adopted. This paper made an analysis on precise threshold segmentation algorithm for workpiece defects based on Faster R-CNN location, reconstructing the localization area by morphological opening and closing reconstruction algorithm, processing the reconstructed image by Otsu′s dual threshold method, segmenting transformed images by maximum entropy threshold segmentation method, and finally measuring the area, perimeter and other parameters of the segmented defects. The research shows that the algorithm in this paper has higher segmentation ability regarding workpiece defects(crack, bubble and slag), compared to conventional algorithms. It not only can accurately segment objects with weak edges, but also can effectively remove the interference from the contour background to the segmentation.
Key words : Faster R-CNN；defect segmentation；morphological opening and closing reconstruction algorithm；Otsu′s dual threshold method；maximum entropy threshold segmentation method

0 引言

    深度學(xué)習(xí)的興起帶動了卷積神經(jīng)網(wǎng)絡(luò)(CNN)的發(fā)展，如今一系列的CNN改進網(wǎng)絡(luò)如雨后春筍般地出現(xiàn)，如當(dāng)前興盛的Faster R-CNN網(wǎng)絡(luò)被廣泛地應(yīng)用于圖像檢測領(lǐng)域。Faster R-CNN用于目標(biāo)定位時，定位出的區(qū)域內(nèi)往往會出現(xiàn)目標(biāo)邊緣較為模糊的情況，其目標(biāo)不是理想的階躍型邊緣，而是弱邊緣[1]。對于工件來說，缺陷只占圖像很小的比例，尤其是氣泡和夾渣，鄰域間的灰度差異也不明顯。針對這種情況，必須采用恰當(dāng)?shù)乃惴ú拍軐崿F(xiàn)工件的精確分割。 

    閾值法因簡單而被大量應(yīng)用在圖像分割領(lǐng)域。其中，應(yīng)用最廣泛的有最大熵閾值法和Otsu閾值法。

    Pun最早將信息熵定義引用到圖像分割領(lǐng)域，隨后Kapur等提出了最大香農(nóng)信息熵閾值法[2]。文獻[3]采用了最大熵閾值法及其改進算法進行圖像的分割。

    Otsu閾值法由于高效而被視為最佳的閾值選取法。如文獻[4]采用了二維直方圖Otsu法；文獻[5]提出了三維直方圖重建的Otsu閾值法。

    近些年來，邊緣檢測法(如數(shù)學(xué)形態(tài)學(xué))被廣泛地應(yīng)用于圖像分割領(lǐng)域。文獻[6]將數(shù)學(xué)形態(tài)學(xué)與Otsu分割算法結(jié)合，取得了比直接分割方法更好的效果。

    因此，本文結(jié)合文獻[6]的思想，提出了將形態(tài)學(xué)和上述兩類閾值法相結(jié)合的方法。實驗結(jié)果證明了本文算法對工件缺陷的弱邊緣和小目標(biāo)都能準(zhǔn)確地分割出來，較直接分割法有更佳的效果。

1 圖像分割理論的概述

1.1 形態(tài)學(xué)重建

    圖像形態(tài)學(xué)是在數(shù)學(xué)形態(tài)學(xué)的基礎(chǔ)上發(fā)展而來的非線性圖像處理方法，通過具有一定形態(tài)的結(jié)構(gòu)元素對圖像進行“探測”，從而得到物體更本質(zhì)的形態(tài)，便于對圖像進行分析和識別[7]。

    本文將形態(tài)學(xué)開閉重建算法用于圖像濾波，其重建的流程如圖1所示。

jsj1-t1.gif

1.2 Otsu閾值分割

    Otsu閾值法又叫最大類間差分法[8]，該算法假設(shè)一幅圖像由前景和背景組成，通過統(tǒng)計學(xué)的方法選取一個閾值，運用該閾值使得圖像的前景和背景盡可能地分開。設(shè)一幅圖像的灰度值是1～L，閾值t從1～L變化，其中使類間方差達(dá)到最大的t*為最佳閾值。

    當(dāng)目標(biāo)相對背景尺寸較小時，或圖像中有多余兩類目標(biāo)時，可以推廣為多個閾值的選取，從而實現(xiàn)圖像的多閾值分割。

1.3 最大熵閾值分割

    根據(jù)灰度級別，用閾值t把圖像劃分為背景和目標(biāo)兩類，求使背景熵與目標(biāo)熵之和達(dá)到最大的最優(yōu)閾值的方法就是最大熵閾值分割法[8]。

    設(shè)目標(biāo)熵和背景熵分別為HO(t)和HB(t)，則熵函數(shù)定義為：

    jsj1-gs1.gif

    使式(1)取值達(dá)到最大的t*就是最佳閾值。

2 算法流程及步驟

    針對工件弱邊緣和小目標(biāo)缺陷在分割時易出現(xiàn)過分割或欠分割的現(xiàn)象，本文研究了一種精確分割的算法，具體流程如圖2所示。

jsj1-t2.gif

    上述根據(jù)缺陷的類型進行分布操作，是因為夾渣和另兩種缺陷的灰度分布相反。如果采用相同的操作，將不能實現(xiàn)正確的分割。

3 實驗結(jié)果及分析

3.1 分割實驗與結(jié)果

    仿真實驗是在MATLAB R2014a環(huán)境下編程完成的，分割結(jié)果如圖3～圖5所示。

jsj1-t3.gif

jsj1-t4.gif

jsj1-t5.gif

    圖3是裂紋缺陷的分割圖。其中，圖3(a)為定位好的裂紋圖像；圖3(b)為裂紋區(qū)域的提取圖像；圖3(c)為對裂紋進行形態(tài)學(xué)重建后的結(jié)果；圖3(d)為重建后的裂紋又進行Otsu雙閾值變換后的圖像；圖3(e)為最終的分割結(jié)果；圖3(f)是圖3(e)的邊界提取結(jié)果；圖3(g)是裂紋區(qū)域的列灰度變化曲線圖，反映了相鄰兩列的灰度差異。由該圖可看出，列灰度曲線很平穩(wěn)，即裂紋與周圍背景沒有明顯的灰度差異。從圖3(e)和圖3(f)可看出，本文算法對灰度過渡不明顯的裂紋實現(xiàn)了良好的分割。

    圖4是氣泡缺陷的分割圖。從圖4(e)和圖4(f)可看出，本文算法對弱小的氣泡實現(xiàn)了精確的分割。

    圖5是夾渣缺陷的分割圖。從圖5(b)可以看出在提取出的夾渣區(qū)域1和2中，包含了一部分細(xì)長的黑色背景區(qū)域；同時夾渣2的右側(cè)存在過渡區(qū)域。從圖5(e)和圖5(f)看出，采用本文的分割算法實現(xiàn)了夾渣1和2的良好分割。

    上述結(jié)果和分析表明，本文算法有較好的泛化能力，不僅準(zhǔn)確地分割了具有明顯灰度對比度的氣泡缺陷，而且對灰度對比差異不明顯的裂紋缺陷或者是有過渡區(qū)域的夾渣缺陷，都實現(xiàn)了良好的分割。

3.2 對比實驗

    為了進一步驗證本文所研究算法對缺陷分割的準(zhǔn)確性，在此設(shè)計對比實驗。對比實驗采用最大熵閾值分割法和Otsu雙閾值分割法。 

3.2.1 分割結(jié)果的定性分析

    將對比實驗的結(jié)果與本文實驗的結(jié)果進行比較和分析，如圖6～圖8所示。

jsj1-t6.gif

jsj1-t7.gif

jsj1-t8.gif

    對圖6裂紋分割對比圖進行分析，從圖6(a)可以看出，對于灰度對比差異不明顯的裂紋，最大熵閾值法和Otsu閾值法的分割結(jié)果均出現(xiàn)了嚴(yán)重的誤分割現(xiàn)象，如圖6(b)和圖6(d)所示。而采用本文的算法能實現(xiàn)裂紋的精確分割，如圖6(f)所示；同時，圖6(g)表明，提取的邊界與裂紋具有很高的吻合度。

    對圖7氣泡分割對比圖進行分析，為清晰地觀察氣泡的輪廓，對圖7(a)進行預(yù)處理，即得到圖4(b)，把它與圖7(b)、圖7(c)、圖7(d)和圖7(e)進行對比，表明最大熵閾值法和Otsu閾值法不能分割出氣泡灰度極弱的邊緣；而與圖7(f)和圖7(g)對比，可以看出本文算法很好地分割出了氣泡的弱邊緣，實現(xiàn)了精確的分割。

    對圖8夾渣分割對比圖進行分析，圖8(b)、圖8(c)、圖8(d)和圖8(e)表明，最大熵閾值法和Otsu閾值分割法對夾渣1和2均產(chǎn)生了誤分割現(xiàn)象，即將一部分與夾渣灰度相近的背景分割出來了；同時，對于夾渣2還存在過分割現(xiàn)象。而圖8(f)和圖8(g)表明了本文分割算法的正確性。

3.2.2 分割結(jié)果的定量分析

    為了說明算法具有客觀性和準(zhǔn)確性，本文引入了分割精度、均方根誤差和相關(guān)性系數(shù)三項指標(biāo)[9]對上面3種算法的結(jié)果分別進行量化評價。

    分割精度的計算按照如下公式：

    jsj1-gs2.gif

其中，SA表示分割精度，RS為手動勾畫出的分割圖像的參考面積，TS為分割結(jié)果的真實面積，|RS-TS|為錯分割的像素點個數(shù)。

    分割精度的值越大，分割結(jié)果越好；均方根誤差(Root Mean Square Error，RMSE)的值越小，分割結(jié)果越接近于理想狀態(tài)；相關(guān)性系數(shù)γ的值越大，分割結(jié)果與參考圖像的相似度越高。

    上述3種實驗結(jié)果的評價見表1。由表1可知，對于灰度對比差異不明顯的裂紋缺陷，最大熵閾值法和Otsu閾值法的分割結(jié)果都不是很好，尤其是Otsu閾值法的效果極差，而本文算法實現(xiàn)的結(jié)果較優(yōu)；對于有明顯灰度差異的氣泡，本文算法較另外兩種算法能很好地分割出邊緣細(xì)節(jié)；對于含有過渡區(qū)域的夾渣缺陷，最大熵閾值法和Otsu閾值法的分割效果很接近，它們均不能很好地分割出目標(biāo)，而本文算法具有較大的分割精度、較小的均方根誤差和較高的相關(guān)性系數(shù)，因此實現(xiàn)了較好的分割效果。 

jsj1-b1.gif

3.3 缺陷的測量

    缺陷分割的目的是對缺陷進行分析和測量，因此，深入地了解缺陷的形狀、大小及空間位置是非常重要的。本文選取了面積、周長、面積周長比、長寬比（即最小外接矩形的長寬比）和缺陷面積與定位區(qū)域的比5個指標(biāo)來測量缺陷，其中，面積和周長均用像素點的個數(shù)來計算，具體統(tǒng)計結(jié)果見表2。

jsj1-b2.gif

    由表2中缺陷面積與定位區(qū)域的比值可知，本文研究的工件缺陷都以小目標(biāo)的形式存在，再結(jié)合表1中本文算法對應(yīng)的各類缺陷評價指標(biāo)的值，驗證了本文算法對小目標(biāo)缺陷分割的有效性。

4 結(jié)束語

    本文在Faster R-CNN定位的基礎(chǔ)上，針對大部分的工業(yè)工件存在缺陷，且許多以弱邊緣或小面積的形式存在的現(xiàn)狀，利用形態(tài)學(xué)重建、最大熵閾值法和Otsu雙閾值分割法，提出了一種可實現(xiàn)工業(yè)CT圖像缺陷精確分割的算法。該算法不存在誤分割或過分割現(xiàn)象；同時，用對比實驗從定性和定量的角度，分別驗證了本文算法的優(yōu)越性。本文算法具有較好的應(yīng)用價值。

參考文獻

[1] 馮小雨，梅衛(wèi)，胡大帥.基于改進Faster R-CNN的空中目標(biāo)檢測[J].光學(xué)學(xué)報，2018，38（6）：0615004.

[2] 常海濤，茍軍年，李曉梅.分形維-最大熵閾值的弱邊緣工業(yè)CT圖像分割算法[J].蘭州交通大學(xué)學(xué)報，2018，37(1)：45-50.

[3] 李鋒，闞建霞.基于Sobel算子的圖像快速二維最大熵閾值分割算法[J].計算機科學(xué)，2015，42（6）：209-210.

[4] 龔劬，付云鳳，葉劍英，等.基于二維直方圖重建的Otsu圖像分割算法[J].計算機科學(xué)，2013，40(8)：313-315.

[5] 申鉉京，龍建武，陳海鷹，等.三維直方圖重建和降維的Otsu閾值分割算法[J].電子學(xué)報，2011，39(5)：1108-1114.

[6] 朱言江，韓震，和思海，等.基于最大類間方差法與數(shù)學(xué)形態(tài)學(xué)的遙感圖像潮溝提取方法[J].上海海洋大學(xué)學(xué)報，2017，26(1)：146-153.

[7] 鄧仕超，黃寅.二值圖像膨脹腐蝕的快速算法[J].計算機工程與應(yīng)用，2017，53(5)：207-209.

[8] 胡學(xué)龍.數(shù)字圖像處理[M].北京：電子工業(yè)出版社，2014.

[9] 周莉莉，姜楓.圖像分割方法綜述研究[J].計算機應(yīng)用研究，2017，34(7)：1921-1928.



作者信息:

吳曉元1，常海濤1，茍軍年1，2

(1.蘭州交通大學(xué) 自動化與電氣工程學(xué)院，甘肅 蘭州730070；

2.蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點實驗室，甘肅 蘭州730070）

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。