??? 摘 ?要: 相關(guān)系數(shù)法模板匹配是數(shù)字?jǐn)z影檢測中的一種經(jīng)典的基于灰度的匹配方法。提出了一種基于模板匹配的電子器件針腳檢測方法,以實際針腳影像和自動生成的標(biāo)準(zhǔn)模板的相關(guān)系數(shù)作為匹配測度以確定針腳的實際位置。同時為了達(dá)到生產(chǎn)流水線快速檢測的要求,首先在粗一級的金字塔影像上獲取初始位置再反算到原始影像進(jìn)行精密定位,實驗結(jié)果表明該方法的定位精度高,速度快,可以滿足工業(yè)檢測的要求。
??? 關(guān)鍵詞: 相關(guān)系數(shù);模板匹配;金字塔影像;針腳檢測
?
隨著大規(guī)模集成電路和半導(dǎo)體工藝的發(fā)展,工業(yè)檢測領(lǐng)域上出現(xiàn)了許多針對電子元器件的檢測需求,高精度和在線檢測是這些檢測系統(tǒng)的共同特征。圖1是幾種典型的針腳(PIN)器件。左邊元件的針腳個數(shù)為9個,右邊兩個元件的針腳個數(shù)均為19個,隨著CPU和各種串并行接口等制造工藝的發(fā)展,有些器件的針腳個數(shù)還會超過1 000個。器件上的每個針腳都有其特定的物理意義,其位置的確定十分重要。由于受到實際生產(chǎn)針腳器件的設(shè)備精度的影響,針腳的實際位置可能會和圖紙設(shè)計的距離有所偏離,如果偏離大于設(shè)定的誤差值則屬于不合格的產(chǎn)品,不能流入市場。單個針腳的大小一般都小于1,誤差一般要求在50~100 μm,類似微小物體的檢測不可能依靠人眼,研究專門的檢測系統(tǒng)非常有必要。類似的非接觸檢測在幾何尺寸檢測、外觀檢測、遙感測量、機(jī)器人視覺以及醫(yī)療診斷等領(lǐng)域有較廣的應(yīng)用,主要的實現(xiàn)方法有攝影測量法、光測法以及利用圖像傳感器測量等諸多方法[1]。檢測系統(tǒng)一般需要安裝在工廠的流水線上,因此要求具有高精度和在線檢測的能力。高精度確保針腳檢測的準(zhǔn)確性從而有效降低質(zhì)量控制成本;在線檢測能極大地提高生產(chǎn)效率。為此本文研究了一套基于數(shù)字?jǐn)z影測量的針腳視覺檢測系統(tǒng)。
?
1 系統(tǒng)構(gòu)成及檢測目標(biāo)
針腳視覺檢測系統(tǒng)包括硬件系統(tǒng)和軟件系統(tǒng)兩部分。硬件系統(tǒng)負(fù)責(zé)圖像獲取,軟件系統(tǒng)負(fù)責(zé)數(shù)據(jù)處理并得出檢測結(jié)果。其中,硬件系統(tǒng)構(gòu)成如圖2所示,包括以下幾部分:
??? (1)成像設(shè)備。CCD或CMOS的工業(yè)相機(jī),要求像素在100萬以上。本文中的試驗系統(tǒng)采用的是分辨率為1 600×1 200的工業(yè)相機(jī),成像質(zhì)量基本滿足檢測要求。利用基于32位操作系統(tǒng)的WDM(Windows Driver Model)視頻捕捉構(gòu)架——DirectShow[2]進(jìn)行影像的采集,作為一種高級流式媒體的應(yīng)用接口,DirectShow屏蔽了硬件之間的差異,從系統(tǒng)設(shè)計與開發(fā)的角度而言具有較高的兼容性與通用性[3,4],就成本和開發(fā)難度而言,非常適合本文所介紹的工業(yè)檢測系統(tǒng)。
(2)光源。由于物體比較小,所以成像距離小,為了采集到比較好的影像,需要設(shè)計專門的光源,這個非常重要。搭載平臺:放置電子元器件同時也作為檢測的基準(zhǔn),因此對其加工精度要求較高,一般采用鋼質(zhì)的不易變形的材料,同時還要求成像時和目標(biāo)元器件的區(qū)分度較高。
(3)傳送設(shè)備。采用機(jī)器手來放置和取走檢測完畢的電子元器件,機(jī)器手和PC機(jī)的通訊一般是通過PCI采集卡來進(jìn)行的。
??? (4)PC機(jī)。加載檢測軟件,同時負(fù)責(zé)向機(jī)器手發(fā)出信號。這部分也可以采用帶LED顯示屏的單片機(jī)。
??? 業(yè)內(nèi)評價針腳是否合格一般有三個指標(biāo):
??? (1)平整度。以平臺為基準(zhǔn)評價針腳距離平臺的距離,是Y方向上的測度。
??? (2)正位度。以第一個針腳或以電子元器件的站腳為基準(zhǔn),評價每個針腳到基準(zhǔn)的距離,是X方向上的測度。
??? (3)PIN間距。即相鄰兩個針腳中心的水平距離,是X方向上的測度。
??? 以上三個指標(biāo)若有至少一個超出限差,則認(rèn)為該產(chǎn)品不合格。為了獲取以上三個指標(biāo),一是要提取臺面的位置,二是要確定站腳的位置,三是要確定每個針腳的位置,這三個任務(wù)也是本系統(tǒng)檢測的主要目標(biāo)。針腳的外形可用外接的最小矩形來擬合,這樣針腳的中心及長寬就可以用矩形的中心、XY方向的邊長來表達(dá)。
2 基本原理
2.1 相關(guān)系數(shù)匹配
??? 相關(guān)系數(shù)匹配中用到的匹配測度是標(biāo)準(zhǔn)化的協(xié)方差函數(shù)[5],對于離散的灰度數(shù)據(jù)而言,相關(guān)系數(shù)的計算有如實用公式(1):
其中g(shù)i,j和g′i,j分別為目標(biāo)區(qū)和搜索區(qū)在(i,j)處的灰度值;m,n為目標(biāo)區(qū)窗口的長和寬。
2.2 金字塔影像
??? 金字塔影像的簡易構(gòu)建公式如公式(2):
其中g(shù)′i,j和gi,j分別為金字塔影像和原始影像在(i,j)處的灰度值;k為金子塔影像的分辨率,金字塔影像上的一個像素對應(yīng)原始影像上k2的個像素。
2.3 基于模板匹配的檢測算法
電子器件針腳的成像如圖3所示。針腳影像一般呈現(xiàn)方形的高亮區(qū)域,因此根據(jù)高亮區(qū)域的大小可以生成一個標(biāo)準(zhǔn)模板。將該模板與針腳影像做模板匹配,計算模板與影像的相關(guān)系數(shù),相關(guān)系數(shù)最大的地方對應(yīng)著針腳的正確位置,這就是本系統(tǒng)檢測算法的根本出發(fā)點。但是由于相關(guān)系數(shù)的計算比較花時間,為了提高計算的速度,可以采用分級匹配的方法,即首先將模板和針腳影像分別生成金字塔影像,首先在粗分辨率的影像上做匹配,確定針腳的初始位置,然后在高分辨率影像上精確定位,這就是本算法的基本流程。該算法不僅保證檢測的精度,而且考慮了檢測的速度,具有明顯的優(yōu)點。
3 檢測方案及流程
??? 本系統(tǒng)的成像設(shè)備采用1 600×1 200的分辨率實時采集影像,但檢測目標(biāo)主要集中的區(qū)域只占到全部影像的1/5左右,因此合理設(shè)置檢測的感興趣區(qū)域十分重要,可大大提高檢測效率。選取一個包含所有檢測針腳的矩形區(qū)域,檢測工作主要是在這個區(qū)域內(nèi)進(jìn)行。
??? 具體采用的檢測方案及流程如下:
??? (1)首先在感興趣區(qū)域中利用相關(guān)系數(shù)模板(根據(jù)針腳的反光特點,標(biāo)準(zhǔn)模板應(yīng)該是內(nèi)白外黑且大小應(yīng)該能包含針腳(如圖4右下角圖像所示))匹配提取出針腳的個數(shù)和初始位置,并根據(jù)設(shè)計數(shù)據(jù)進(jìn)行規(guī)則化即相鄰針腳的位置即是圖紙中的設(shè)計數(shù)據(jù),這樣做的目的是為了下次檢測相同規(guī)格的器件時,如果放置得比較偏時不至于檢測失敗。
??? (2)接著生成一幅感興趣區(qū)域的粗一級的金字塔影像(如圖4左上角圖像所示)(可取分辨率為2,即原始影像中每4個像素對應(yīng)金字塔影像中的1個像素)及對應(yīng)的標(biāo)準(zhǔn)模板,圖4中的感興趣區(qū)域的大小為1 141×42,其模板大小為31×27,對應(yīng)的金字塔影像的大小為570×21,其模板大小為17×15,單位均為像素。
??? (3)將(1)中針腳的坐標(biāo)換算到金字塔影像中,換算按公式(2)進(jìn)行,按相關(guān)系數(shù)實用化公式(1)逐一計算每個針腳在臨近區(qū)域的相關(guān)系數(shù),相關(guān)系數(shù)最大的位置對應(yīng)針腳的正確位置。
??? (4)將針腳在金字塔影像中的中心位置及外包矩形的邊長按照公式(2)反算到原始影像中,重復(fù)(3)的過程,只是此時要注意移動步長可設(shè)為kΔx和kΔy,k為金字塔分辨率,這樣可縮短在原始影像中的計算時間,這也是使用金字塔影像的好處。
4 實驗
??? 利用相關(guān)系數(shù)模板匹配在原始影像上獲取到初始位置,如圖5所示。較準(zhǔn)確的初值能減少迭代次數(shù),提高運算效率。按照本文第三部提出的檢測流程,在金字塔影像中提取針腳的位置,再次反算到原始影像上,對初始值進(jìn)行修改,為在原始影像中進(jìn)行相關(guān)系數(shù)匹配提供更為精確的初值,從而提高效率。在具備準(zhǔn)確的初值的條件下,程序能較快地定位到精確位置,如圖6所示。為了測試精度和效率,用上述方法對不同針腳連續(xù)檢測,統(tǒng)計消耗時間和平面度、正位度以及間距三個指標(biāo)。測試計算機(jī)配置為CPU:Inter(R) Core 2 Duo T5870 2.0 G;內(nèi)存:1 G;顯卡:ATI Mobility Radeon HD 3400 Series。檢測之前,首先利用量規(guī)塊標(biāo)定相機(jī)的放大倍數(shù)為一個像素對應(yīng)8.23μm,然后重復(fù)進(jìn)行100次檢測試驗,共耗時41 219 μm,相當(dāng)于每次檢測412.19μm,整個檢測過程中,最大跳動為8μm。試驗結(jié)果表明,速度和精度都能滿足要求。?
???
??? 對實驗中發(fā)生跳動的針腳局部影像(如圖7所示)進(jìn)行分析,發(fā)現(xiàn)有跳動的7號針腳的圖像周圍毛邊較嚴(yán)重;對比沒有發(fā)生跳動的13號針腳,目標(biāo)與背景能很好地區(qū)分開來。因此,建議為了提高檢測的精度和可靠性,應(yīng)該盡量使電子器件保持干凈,避免粘上污垢。
??? 以模板匹配為基礎(chǔ),提出一種電子器件針腳質(zhì)量檢測方法,同時對提高檢測的效率和精度提出了具體的措施,試驗結(jié)果證明該方法是可行的。該方法的提出對同類產(chǎn)品的檢測提供了很好的思路,具有借鑒意義。進(jìn)一步提高系統(tǒng)檢測的效率和精度是今后研究的重點。
參考文獻(xiàn)
[1] 張紅娜,王祁.圖像測量技術(shù)及其應(yīng)用[J].電測與儀表,2003,40(451):19-22.
[2] Microsoft Corporation DirectX 9.0[M]. New York: Microsoft Corporation, 2006.
[3] 陸其明.DirectShow開發(fā)指南[M].北京:清華大學(xué)出版社,2003.
[4] 魏立誠,朱桂林.基于DirectShow的視頻采集系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)工程,2005,31(14):187-189.
[5] 張祖勛,張劍清.數(shù)字?jǐn)z影測量學(xué)[M].武漢:武漢大學(xué)出版社,2001:166-167.