文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.171157
中文引用格式: 王想實(shí),王棋. 基于視覺(jué)顯著性的LED晶圓自動(dòng)提取系統(tǒng)[J].電子技術(shù)應(yīng)用,2017,43(12):113-115,119.
英文引用格式: Wang Xiangshi,Wang Qi. LED wafer automatic extraction system based on visual saliency[J].Application of Elec-
tronic Technique,2017,43(12):113-115,119.
0 引言
目前LED外延片生產(chǎn)過(guò)程中,由于生產(chǎn)工藝本身原因,導(dǎo)致LED晶粒存在諸多缺陷,如缺角、劃痕、電極污染等,在測(cè)試中分選機(jī)無(wú)法通過(guò)電特性對(duì)晶粒進(jìn)行剔除,只能通過(guò)人工剔除有缺陷的晶粒,如此導(dǎo)致晶粒數(shù)量處于未知狀態(tài),也就是無(wú)法確切知道晶粒數(shù)量,首先需要通過(guò)晶圓提取系統(tǒng)來(lái)有效統(tǒng)計(jì)計(jì)算晶粒范圍。
通常晶圓貼在藍(lán)膜或者白膜上,然后再貼在黃色離型紙上,LED計(jì)數(shù)儀通過(guò)背光照射晶圓,由于黃色離型紙為非均勻材質(zhì),導(dǎo)致成像灰度不均勻,晶圓以外的地方容易造成誤識(shí)別,所以需要解決精確提取晶圓問(wèn)題。
目前LED晶圓提取系統(tǒng)一般采用降低分辨率,設(shè)定一個(gè)統(tǒng)一閾值,將晶圓范圍從離型紙背景中分割出來(lái)。這類方法存在其局限性,統(tǒng)一的閾值對(duì)非均勻亮度圖像存在極大的誤差,漏識(shí)別或者多識(shí)別的概率偏高,對(duì)晶圓邊緣的提取精度較低[1],僅為98.47%。由此設(shè)計(jì)一種基于視覺(jué)顯著性的晶圓范圍提取系統(tǒng),有效解決了精準(zhǔn)自動(dòng)提取晶圓范圍問(wèn)題。應(yīng)用邊界連接度優(yōu)先的算法,將晶圓從背景中有效提取出來(lái)。主要依據(jù)晶圓圖像目標(biāo)居中,且目標(biāo)基本不與邊界相接觸的特點(diǎn),與邊界大面積接觸的則屬于背景區(qū),可以直接將圖像邊緣信息當(dāng)作背景來(lái)處理,通過(guò)像素與邊界點(diǎn)的連接度來(lái)識(shí)別圖像空間布局,精確提取晶圓的邊緣。整個(gè)系統(tǒng)由晶圓圖像采集模塊、晶圓目標(biāo)提取模塊兩部分構(gòu)成,如圖1所示。
1 晶圓采集模塊
晶圓采集模塊主要通過(guò)調(diào)整光源亮度,并通過(guò)評(píng)價(jià)圖像亮度函數(shù)計(jì)算出控制量,反饋給光源控制器,對(duì)光源進(jìn)行閉環(huán)控制,確保得到適合系統(tǒng)亮度的晶圓圖像。相機(jī)驅(qū)動(dòng)模塊主要負(fù)責(zé)相機(jī)與計(jì)算機(jī)的通信,將圖像數(shù)據(jù)放入計(jì)算機(jī)內(nèi)存,供后續(xù)圖像處理使用。
2 晶圓目標(biāo)提取模塊
一般在實(shí)際應(yīng)用中,對(duì)晶圓非均勻亮度圖像目標(biāo)提取主要采用閾值化方法,LI C M等人的LBF(Local Binary Fitting)模型[2]中最大的特點(diǎn)是利用高斯函數(shù)取得圖像的局部灰度信息,圖像雖然在整體上存在灰度不均勻,但是在局部,灰度可以近似地認(rèn)為不存在偏差場(chǎng)。LBF模型引入了懲罰項(xiàng),因此無(wú)須再重新初始化,但是其最大的缺點(diǎn)是計(jì)算量大、演化收斂緩慢、效率低下。在LBF模型和高斯函數(shù)規(guī)則符號(hào)距離函數(shù)的基礎(chǔ)上,由ZHANG K H等人提出LIF(Local Image Fiting)模型[3],LIF模型修改了活動(dòng)輪廓模型的能量函數(shù),并將LBF模型中用高斯函數(shù)求零水平集曲線內(nèi)外局部灰度高斯加權(quán)均值改為直接求曲線內(nèi)外灰度均值,效率相比LBF模型有所提高,但其效率仍然無(wú)法滿足本系統(tǒng)小于1 s的計(jì)數(shù)速度,且對(duì)初始輪廓敏感,對(duì)非高斯噪聲圖區(qū)并不理想,基于閾值的晶圓目標(biāo)提取在速度以及精準(zhǔn)度方面都存在不足。
通過(guò)分析整個(gè)晶圓采集圖像具有背景單一、目標(biāo)集中的基本構(gòu)圖特征[4-6],將晶圓圖像分為邊界、背景和目標(biāo)區(qū)域三部分。目標(biāo)區(qū)域一般位于圖像的視角聚焦的中心位置,目標(biāo)完全不與邊界相接觸,直接采用邊界優(yōu)先策略,將圖像邊緣當(dāng)作背景來(lái)處理,通過(guò)區(qū)域間特征線索的關(guān)聯(lián)度來(lái)判斷區(qū)域與邊界的連接度,識(shí)別出目標(biāo)或背景區(qū)域。
這里關(guān)鍵是首先要確定邊界區(qū)域,然后通過(guò)特征線索按照邊界優(yōu)先的原則來(lái)劃分背景和目標(biāo)區(qū)域。ZHU W在文獻(xiàn)[7]中只簡(jiǎn)單將圖像4個(gè)邊緣定量的行列區(qū)域人為劃分為邊界區(qū)域。當(dāng)目標(biāo)與邊界有接觸或接近邊界區(qū)域時(shí),存在將目標(biāo)誤判為邊界區(qū)域的概率,直接影響到后續(xù)對(duì)背景與目標(biāo)的準(zhǔn)確劃分。
這里采用VAN DE WEIJER J文獻(xiàn)[8]中的Harris檢測(cè)算法,檢測(cè)圖像中晶圓目標(biāo)的角點(diǎn)與輪廓角點(diǎn),晶圓目標(biāo)包含在一個(gè)凸多邊形內(nèi),整個(gè)晶圓圖像被劃分為包含目標(biāo)對(duì)象的內(nèi)部區(qū)域和外部區(qū)域,角點(diǎn)檢測(cè)結(jié)果如圖2所示,整個(gè)晶圓目標(biāo)包含在角點(diǎn)所包絡(luò)的區(qū)域中。
整個(gè)邊界區(qū)域則在外部區(qū)域中劃分,以角點(diǎn)到邊緣的平均垂直距離為基準(zhǔn)值為寬度,來(lái)劃分4個(gè)方向上的邊界區(qū)域,作為后續(xù)背景和目標(biāo)分割的基礎(chǔ),避免誤將目標(biāo)盲目劃分為邊界區(qū)域。
2.1 邊界連接度優(yōu)先晶圓顯著性算法
依據(jù)晶圓圖像目標(biāo)居中,與邊界大面積接觸的則是背景區(qū)域的特點(diǎn),通過(guò)邊界連接度來(lái)表示這一特性,依據(jù)這一特性來(lái)識(shí)別晶圓目標(biāo)。這里定義像素區(qū)域的邊界連接度為該點(diǎn)的邊界外圍長(zhǎng)度與其總長(zhǎng)度的比率,具體計(jì)算如下:
2.2 晶圓目標(biāo)顯著性提取
在充分考慮晶圓圖像空間布局基礎(chǔ)上,這里同時(shí)應(yīng)用圖像空間上的特征,將顏色與空間信息同時(shí)融合來(lái)提取晶圓顯著性目標(biāo),目標(biāo)顯著性定義為:
依據(jù)式(3),晶粒區(qū)域從背景區(qū)域中接收到較大的值對(duì)比度加強(qiáng);與此相反,背景區(qū)域從目標(biāo)區(qū)域中接收小的值對(duì)比度降低。這種非對(duì)稱的行為加強(qiáng)了目標(biāo)與背景區(qū)域的對(duì)比度。整個(gè)算法流程如圖3所示。
在晶圓目標(biāo)提取中,為避免大規(guī)模數(shù)值計(jì)算,提高顯著性檢測(cè)的速度,滿足實(shí)時(shí)性的要求,將計(jì)算處理的基本圖像單元分割為不同的塊[9-10]。使用SLIC[10]方法將圖像抽象為一組大致固定的超像素點(diǎn),超像素保存了局部結(jié)構(gòu)的同時(shí)減少了不必要的細(xì)節(jié)信息,利用文獻(xiàn)[11]算法來(lái)計(jì)算超像素結(jié)點(diǎn)構(gòu)成的稀疏圖中任意兩點(diǎn)間的最短距離,僅需要0.047 s,時(shí)間復(fù)雜度只有O(n)。超像素劃分結(jié)果如圖4所示。通過(guò)計(jì)算超像素點(diǎn)的顯著性來(lái)提取晶圓目標(biāo)。
3 試驗(yàn)結(jié)果分析
通過(guò)對(duì)分辨率為4 000×3 000的彩色晶圓圖像、運(yùn)用邊界連接度優(yōu)先的目標(biāo)提取算法進(jìn)行實(shí)驗(yàn)。其實(shí)驗(yàn)環(huán)境為IntelCore i3-3240 3.40 GHz,RAM 8 GB,VC2010。實(shí)驗(yàn)中,在對(duì)圖像歸一化[0,1]基礎(chǔ)上,將邊界區(qū)域中前50行、值低于0.57的像素劃分為邊界點(diǎn)。超像素點(diǎn)設(shè)置為200個(gè),對(duì)原始晶圓圖4(a)進(jìn)行目標(biāo)提取,結(jié)果如圖5(b)所示。圖5(a)中是LIF閾值二值化提取結(jié)果,受識(shí)別背景區(qū)域的噪音干擾,嚴(yán)重降低了目標(biāo)提取的精確度。
為客觀驗(yàn)證評(píng)價(jià)晶圓目標(biāo)提取的有效性,通過(guò)查準(zhǔn)率-查全率曲線PR來(lái)定量分析,其中查準(zhǔn)率表示像素被正確標(biāo)注為顯著性像素的比率,而查全率表示像素被標(biāo)注為顯著性像素與實(shí)際顯著性像素的比率。其實(shí)驗(yàn)數(shù)據(jù)集來(lái)自應(yīng)用最廣泛的基準(zhǔn)數(shù)據(jù)集ASD[10],相應(yīng)的顯著性目標(biāo)檢測(cè)結(jié)果如圖6所示,可檢測(cè)到較清晰的顯著性目標(biāo)。相應(yīng)的查準(zhǔn)率-查全率PR曲線如圖7所示,相比較當(dāng)前廣泛應(yīng)用的閾值化中LIF檢測(cè)算法,其查準(zhǔn)率有明顯的提高,同時(shí)整個(gè)晶圓目標(biāo)提取的時(shí)間控制在0.26 s內(nèi),目標(biāo)提取效率較高。
4 結(jié)論
本文利用機(jī)器視覺(jué)中的邊界優(yōu)先提取顯著性目標(biāo)算法設(shè)計(jì)晶圓目標(biāo)提取系統(tǒng)。采用反饋式光源采集系統(tǒng),在此基礎(chǔ)上,得到有利于該算法實(shí)施的亮度一致的圖像,可完整識(shí)別出整個(gè)晶粒包絡(luò)的區(qū)域,同時(shí)可有效排除識(shí)別區(qū)外的噪音干擾,滿足了系統(tǒng)對(duì)精度速度的要求。
參考文獻(xiàn)
[1] 鐘鑫.LED芯片檢測(cè)算法研究及實(shí)現(xiàn)[D].北京:北京交通大學(xué),2007.
[2] LI C M,KAO C Y,GORE J C,et al.Minimization of region-scalable fitting energy for image segmentation[J].IEEE Transactions on Image Processing,2008,17(10):1940-1949.
[3] ZHANG K H,SONG H H,ZHANG L.Active contours driven by local image fitting energy[J].Pattern Recog-Gnition,2010,43(4):1199-1206.
[4] 張文康,朱倩,陳瀟君.擬人視覺(jué)系統(tǒng)的顯著性檢測(cè)方法[J].電子技術(shù)應(yīng)用,2016,42(11):122-125.
[5] 吳曉.一種LED芯片橢圓定位方法[J].紅外與激光工程,2013(S1):98-102.
[6] CHENG M M,WARRELL J,LIN W Y,et al.Efficient salient region detection with soft image abstraction[C].In ICCV,2013.
[7] ZHU W,LIANG S,WEI Y,et al.Saliency optimization from robust background delection IEEE delection[C].IEEE Conference on Computer Vision & Pattern Recognition,2014:2814-2821.
[8] VAN DE WEIJER J,GEVER T,BAGDANOV A D.Boosting color saliency in image feature detection[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2006,28(1):150-156.
[9] ACHANTA R,SHAJI A,SMITH K,et al.Slic superpixels compared to atate-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysys and Machine Intelligence,2012,34(11):2273-2282.
[10] ACHANTA R,HEMAMI S,ESTRADA F,et al.Frequency-tuned salient region detection[C].In CVPR,2009.
[11] JOHNSON D B.Efficient algorithms for shortest paths in sparse networks[J].ACM,1977,24(1):1-13.
作者信息:
王想實(shí)1,王 棋2
(1.無(wú)錫職業(yè)技術(shù)學(xué)院 物聯(lián)網(wǎng)技術(shù)學(xué)院,江蘇 無(wú)錫214121;2.深圳市艾特智能科技有限公司,廣東 深圳518007)