《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 基于視覺(jué)顯著性的LED晶圓自動(dòng)提取系統(tǒng)
基于視覺(jué)顯著性的LED晶圓自動(dòng)提取系統(tǒng)
2017年電子技術(shù)應(yīng)用第12期
王想實(shí)1,王 棋2
1.無(wú)錫職業(yè)技術(shù)學(xué)院 物聯(lián)網(wǎng)技術(shù)學(xué)院,江蘇 無(wú)錫214121;2.深圳市艾特智能科技有限公司,廣東 深圳518007
摘要: 晶圓目標(biāo)提取是晶粒計(jì)數(shù)系統(tǒng)的重要處理環(huán)節(jié),是確保晶粒計(jì)數(shù)準(zhǔn)確度的前提條件。目前主要應(yīng)用閾值化方法將晶圓目標(biāo)從背景中提取出來(lái),由于離型紙固有因素影響,造成成像灰度不均勻,嚴(yán)重影響晶圓目標(biāo)范圍的有效識(shí)別。系統(tǒng)通過(guò)對(duì)光源的閉環(huán)控制,取得合適亮度的晶圓圖像后,在Harris輪廓點(diǎn)的外圍區(qū)域確定邊界,通過(guò)內(nèi)部區(qū)域?qū)吔绲倪B接度來(lái)檢測(cè)區(qū)域中的晶圓視覺(jué)顯著性目標(biāo)。試驗(yàn)證明,該系統(tǒng)能精確地在離型紙背景上有效提取晶圓目標(biāo)。
關(guān)鍵詞: 晶圓 閾值 邊界 Harris 顯著性
中圖分類號(hào): TP391.41
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.171157
中文引用格式: 王想實(shí),王棋. 基于視覺(jué)顯著性的LED晶圓自動(dòng)提取系統(tǒng)[J].電子技術(shù)應(yīng)用,2017,43(12):113-115,119.
英文引用格式: Wang Xiangshi,Wang Qi. LED wafer automatic extraction system based on visual saliency[J].Application of Elec-
tronic Technique,2017,43(12):113-115,119.
LED wafer automatic extraction system based on visual saliency
Wang Xiangshi1,Wang Qi2
1.Wuxi Technology Institute,Wuxi 214121,China; 2.Shenzhen Aite Intelligent Technology Company Limited,Shenzhen 518007,China
Abstract: LED wafer target detection is an important part of the grain counting system, and it is a prerequisite for ensuring the accuracy of grain counting. The threshold method is applied to extract the wafer target from the background of the release paper at present. Due to the inherent factors of the release paper, the gray scale of the imaging is not uniform,which seriously affected the recognition of the wafer target range.The system can obtain the appropriate brightness of the wafer image through the control mode of the closed-loop light source.The visual saliency of the wafer target in the internal area is further detected by the connection degree of the inner region to the boundary based on the boundary of the peripheral area of the Harris contour point. The experiments show that the system can obtain clean and uniform saliency maps of the wafers from the background of the release paper.
Key words : wafer;threshold;boundary;Harris;saliency

0 引言

    目前LED外延片生產(chǎn)過(guò)程中,由于生產(chǎn)工藝本身原因,導(dǎo)致LED晶粒存在諸多缺陷,如缺角、劃痕、電極污染等,在測(cè)試中分選機(jī)無(wú)法通過(guò)電特性對(duì)晶粒進(jìn)行剔除,只能通過(guò)人工剔除有缺陷的晶粒,如此導(dǎo)致晶粒數(shù)量處于未知狀態(tài),也就是無(wú)法確切知道晶粒數(shù)量,首先需要通過(guò)晶圓提取系統(tǒng)來(lái)有效統(tǒng)計(jì)計(jì)算晶粒范圍。

    通常晶圓貼在藍(lán)膜或者白膜上,然后再貼在黃色離型紙上,LED計(jì)數(shù)儀通過(guò)背光照射晶圓,由于黃色離型紙為非均勻材質(zhì),導(dǎo)致成像灰度不均勻,晶圓以外的地方容易造成誤識(shí)別,所以需要解決精確提取晶圓問(wèn)題。

    目前LED晶圓提取系統(tǒng)一般采用降低分辨率,設(shè)定一個(gè)統(tǒng)一閾值,將晶圓范圍從離型紙背景中分割出來(lái)。這類方法存在其局限性,統(tǒng)一的閾值對(duì)非均勻亮度圖像存在極大的誤差,漏識(shí)別或者多識(shí)別的概率偏高,對(duì)晶圓邊緣的提取精度較低[1],僅為98.47%。由此設(shè)計(jì)一種基于視覺(jué)顯著性的晶圓范圍提取系統(tǒng),有效解決了精準(zhǔn)自動(dòng)提取晶圓范圍問(wèn)題。應(yīng)用邊界連接度優(yōu)先的算法,將晶圓從背景中有效提取出來(lái)。主要依據(jù)晶圓圖像目標(biāo)居中,且目標(biāo)基本不與邊界相接觸的特點(diǎn),與邊界大面積接觸的則屬于背景區(qū),可以直接將圖像邊緣信息當(dāng)作背景來(lái)處理,通過(guò)像素與邊界點(diǎn)的連接度來(lái)識(shí)別圖像空間布局,精確提取晶圓的邊緣。整個(gè)系統(tǒng)由晶圓圖像采集模塊、晶圓目標(biāo)提取模塊兩部分構(gòu)成,如圖1所示。

jsj2-t1.gif

1 晶圓采集模塊

    晶圓采集模塊主要通過(guò)調(diào)整光源亮度,并通過(guò)評(píng)價(jià)圖像亮度函數(shù)計(jì)算出控制量,反饋給光源控制器,對(duì)光源進(jìn)行閉環(huán)控制,確保得到適合系統(tǒng)亮度的晶圓圖像。相機(jī)驅(qū)動(dòng)模塊主要負(fù)責(zé)相機(jī)與計(jì)算機(jī)的通信,將圖像數(shù)據(jù)放入計(jì)算機(jī)內(nèi)存,供后續(xù)圖像處理使用。

2 晶圓目標(biāo)提取模塊

    一般在實(shí)際應(yīng)用中,對(duì)晶圓非均勻亮度圖像目標(biāo)提取主要采用閾值化方法,LI C M等人的LBF(Local Binary Fitting)模型[2]中最大的特點(diǎn)是利用高斯函數(shù)取得圖像的局部灰度信息,圖像雖然在整體上存在灰度不均勻,但是在局部,灰度可以近似地認(rèn)為不存在偏差場(chǎng)。LBF模型引入了懲罰項(xiàng),因此無(wú)須再重新初始化,但是其最大的缺點(diǎn)是計(jì)算量大、演化收斂緩慢、效率低下。在LBF模型和高斯函數(shù)規(guī)則符號(hào)距離函數(shù)的基礎(chǔ)上,由ZHANG K H等人提出LIF(Local Image Fiting)模型[3],LIF模型修改了活動(dòng)輪廓模型的能量函數(shù),并將LBF模型中用高斯函數(shù)求零水平集曲線內(nèi)外局部灰度高斯加權(quán)均值改為直接求曲線內(nèi)外灰度均值,效率相比LBF模型有所提高,但其效率仍然無(wú)法滿足本系統(tǒng)小于1 s的計(jì)數(shù)速度,且對(duì)初始輪廓敏感,對(duì)非高斯噪聲圖區(qū)并不理想,基于閾值的晶圓目標(biāo)提取在速度以及精準(zhǔn)度方面都存在不足。

    通過(guò)分析整個(gè)晶圓采集圖像具有背景單一、目標(biāo)集中的基本構(gòu)圖特征[4-6],將晶圓圖像分為邊界、背景和目標(biāo)區(qū)域三部分。目標(biāo)區(qū)域一般位于圖像的視角聚焦的中心位置,目標(biāo)完全不與邊界相接觸,直接采用邊界優(yōu)先策略,將圖像邊緣當(dāng)作背景來(lái)處理,通過(guò)區(qū)域間特征線索的關(guān)聯(lián)度來(lái)判斷區(qū)域與邊界的連接度,識(shí)別出目標(biāo)或背景區(qū)域。

    這里關(guān)鍵是首先要確定邊界區(qū)域,然后通過(guò)特征線索按照邊界優(yōu)先的原則來(lái)劃分背景和目標(biāo)區(qū)域。ZHU W在文獻(xiàn)[7]中只簡(jiǎn)單將圖像4個(gè)邊緣定量的行列區(qū)域人為劃分為邊界區(qū)域。當(dāng)目標(biāo)與邊界有接觸或接近邊界區(qū)域時(shí),存在將目標(biāo)誤判為邊界區(qū)域的概率,直接影響到后續(xù)對(duì)背景與目標(biāo)的準(zhǔn)確劃分。

    這里采用VAN DE WEIJER J文獻(xiàn)[8]中的Harris檢測(cè)算法,檢測(cè)圖像中晶圓目標(biāo)的角點(diǎn)與輪廓角點(diǎn),晶圓目標(biāo)包含在一個(gè)凸多邊形內(nèi),整個(gè)晶圓圖像被劃分為包含目標(biāo)對(duì)象的內(nèi)部區(qū)域和外部區(qū)域,角點(diǎn)檢測(cè)結(jié)果如圖2所示,整個(gè)晶圓目標(biāo)包含在角點(diǎn)所包絡(luò)的區(qū)域中。

jsj2-t2.gif

    整個(gè)邊界區(qū)域則在外部區(qū)域中劃分,以角點(diǎn)到邊緣的平均垂直距離為基準(zhǔn)值為寬度,來(lái)劃分4個(gè)方向上的邊界區(qū)域,作為后續(xù)背景和目標(biāo)分割的基礎(chǔ),避免誤將目標(biāo)盲目劃分為邊界區(qū)域。

2.1 邊界連接度優(yōu)先晶圓顯著性算法

    依據(jù)晶圓圖像目標(biāo)居中,與邊界大面積接觸的則是背景區(qū)域的特點(diǎn),通過(guò)邊界連接度來(lái)表示這一特性,依據(jù)這一特性來(lái)識(shí)別晶圓目標(biāo)。這里定義像素區(qū)域的邊界連接度為該點(diǎn)的邊界外圍長(zhǎng)度與其總長(zhǎng)度的比率,具體計(jì)算如下:

jsj2-gs1-2.gif

2.2 晶圓目標(biāo)顯著性提取

    在充分考慮晶圓圖像空間布局基礎(chǔ)上,這里同時(shí)應(yīng)用圖像空間上的特征,將顏色與空間信息同時(shí)融合來(lái)提取晶圓顯著性目標(biāo),目標(biāo)顯著性定義為:

jsj2-gs3-4.gif

    依據(jù)式(3),晶粒區(qū)域從背景區(qū)域中接收到較大的值jsj2-gs3-4-x1.gif對(duì)比度加強(qiáng);與此相反,背景區(qū)域從目標(biāo)區(qū)域中接收小的值jsj2-gs3-4-x2.gif對(duì)比度降低。這種非對(duì)稱的行為加強(qiáng)了目標(biāo)與背景區(qū)域的對(duì)比度。整個(gè)算法流程如圖3所示。

jsj2-t3.gif

    在晶圓目標(biāo)提取中,為避免大規(guī)模數(shù)值計(jì)算,提高顯著性檢測(cè)的速度,滿足實(shí)時(shí)性的要求,將計(jì)算處理的基本圖像單元分割為不同的塊[9-10]。使用SLIC[10]方法將圖像抽象為一組大致固定的超像素點(diǎn),超像素保存了局部結(jié)構(gòu)的同時(shí)減少了不必要的細(xì)節(jié)信息,利用文獻(xiàn)[11]算法來(lái)計(jì)算超像素結(jié)點(diǎn)構(gòu)成的稀疏圖中任意兩點(diǎn)間的最短距離,僅需要0.047 s,時(shí)間復(fù)雜度只有O(n)。超像素劃分結(jié)果如圖4所示。通過(guò)計(jì)算超像素點(diǎn)的顯著性來(lái)提取晶圓目標(biāo)。

jsj2-t4.gif

3 試驗(yàn)結(jié)果分析

    通過(guò)對(duì)分辨率為4 000×3 000的彩色晶圓圖像、運(yùn)用邊界連接度優(yōu)先的目標(biāo)提取算法進(jìn)行實(shí)驗(yàn)。其實(shí)驗(yàn)環(huán)境為IntelCore i3-3240 3.40 GHz,RAM 8 GB,VC2010。實(shí)驗(yàn)中,在對(duì)圖像歸一化[0,1]基礎(chǔ)上,將邊界區(qū)域中前50行、值低于0.57的像素劃分為邊界點(diǎn)。超像素點(diǎn)設(shè)置為200個(gè),對(duì)原始晶圓圖4(a)進(jìn)行目標(biāo)提取,結(jié)果如圖5(b)所示。圖5(a)中是LIF閾值二值化提取結(jié)果,受識(shí)別背景區(qū)域的噪音干擾,嚴(yán)重降低了目標(biāo)提取的精確度。

jsj2-t5.gif

    為客觀驗(yàn)證評(píng)價(jià)晶圓目標(biāo)提取的有效性,通過(guò)查準(zhǔn)率-查全率曲線PR來(lái)定量分析,其中查準(zhǔn)率表示像素被正確標(biāo)注為顯著性像素的比率,而查全率表示像素被標(biāo)注為顯著性像素與實(shí)際顯著性像素的比率。其實(shí)驗(yàn)數(shù)據(jù)集來(lái)自應(yīng)用最廣泛的基準(zhǔn)數(shù)據(jù)集ASD[10],相應(yīng)的顯著性目標(biāo)檢測(cè)結(jié)果如圖6所示,可檢測(cè)到較清晰的顯著性目標(biāo)。相應(yīng)的查準(zhǔn)率-查全率PR曲線如圖7所示,相比較當(dāng)前廣泛應(yīng)用的閾值化中LIF檢測(cè)算法,其查準(zhǔn)率有明顯的提高,同時(shí)整個(gè)晶圓目標(biāo)提取的時(shí)間控制在0.26 s內(nèi),目標(biāo)提取效率較高。

jsj2-t6.gif

jsj2-t7.gif

4 結(jié)論

    本文利用機(jī)器視覺(jué)中的邊界優(yōu)先提取顯著性目標(biāo)算法設(shè)計(jì)晶圓目標(biāo)提取系統(tǒng)。采用反饋式光源采集系統(tǒng),在此基礎(chǔ)上,得到有利于該算法實(shí)施的亮度一致的圖像,可完整識(shí)別出整個(gè)晶粒包絡(luò)的區(qū)域,同時(shí)可有效排除識(shí)別區(qū)外的噪音干擾,滿足了系統(tǒng)對(duì)精度速度的要求。

參考文獻(xiàn)

[1] 鐘鑫.LED芯片檢測(cè)算法研究及實(shí)現(xiàn)[D].北京:北京交通大學(xué),2007.

[2] LI C M,KAO C Y,GORE J C,et al.Minimization of region-scalable fitting energy for image segmentation[J].IEEE Transactions on Image Processing,2008,17(10):1940-1949.

[3] ZHANG K H,SONG H H,ZHANG L.Active contours driven by local image fitting energy[J].Pattern Recog-Gnition,2010,43(4):1199-1206.

[4] 張文康,朱倩,陳瀟君.擬人視覺(jué)系統(tǒng)的顯著性檢測(cè)方法[J].電子技術(shù)應(yīng)用,2016,42(11):122-125.

[5] 吳曉.一種LED芯片橢圓定位方法[J].紅外與激光工程,2013(S1):98-102.

[6] CHENG M M,WARRELL J,LIN W Y,et al.Efficient salient region detection with soft image abstraction[C].In ICCV,2013.

[7] ZHU W,LIANG S,WEI Y,et al.Saliency optimization from robust background delection IEEE delection[C].IEEE Conference on Computer Vision & Pattern Recognition,2014:2814-2821.

[8] VAN DE WEIJER J,GEVER T,BAGDANOV A D.Boosting color saliency in image feature detection[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2006,28(1):150-156.

[9] ACHANTA R,SHAJI A,SMITH K,et al.Slic superpixels compared to atate-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysys and Machine Intelligence,2012,34(11):2273-2282.

[10] ACHANTA R,HEMAMI S,ESTRADA F,et al.Frequency-tuned salient region detection[C].In CVPR,2009.

[11] JOHNSON D B.Efficient algorithms for shortest paths in sparse networks[J].ACM,1977,24(1):1-13.



作者信息:

王想實(shí)1,王  棋2

(1.無(wú)錫職業(yè)技術(shù)學(xué)院 物聯(lián)網(wǎng)技術(shù)學(xué)院,江蘇 無(wú)錫214121;2.深圳市艾特智能科技有限公司,廣東 深圳518007)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。