??? 摘 ?要： 相關(guān)系數(shù)法模板匹配是數(shù)字?jǐn)z影檢測(cè)中的一種經(jīng)典的基于灰度的匹配方法。提出了一種基于模板匹配的電子器件針腳檢測(cè)方法，以實(shí)際針腳影像和自動(dòng)生成的標(biāo)準(zhǔn)模板的相關(guān)系數(shù)作為匹配測(cè)度以確定針腳的實(shí)際位置。同時(shí)為了達(dá)到生產(chǎn)流水線快速檢測(cè)的要求，首先在粗一級(jí)的金字塔影像上獲取初始位置再反算到原始影像進(jìn)行精密定位，實(shí)驗(yàn)結(jié)果表明該方法的定位精度高，速度快，可以滿足工業(yè)檢測(cè)的要求。
??? 關(guān)鍵詞： 相關(guān)系數(shù)；模板匹配；金字塔影像；針腳檢測(cè)
?
隨著大規(guī)模集成電路和半導(dǎo)體工藝的發(fā)展，工業(yè)檢測(cè)領(lǐng)域上出現(xiàn)了許多針對(duì)電子元器件的檢測(cè)需求，高精度和在線檢測(cè)是這些檢測(cè)系統(tǒng)的共同特征。圖1是幾種典型的針腳(PIN)器件。左邊元件的針腳個(gè)數(shù)為9個(gè)，右邊兩個(gè)元件的針腳個(gè)數(shù)均為19個(gè)，隨著CPU和各種串并行接口等制造工藝的發(fā)展，有些器件的針腳個(gè)數(shù)還會(huì)超過1 000個(gè)。器件上的每個(gè)針腳都有其特定的物理意義，其位置的確定十分重要。由于受到實(shí)際生產(chǎn)針腳器件的設(shè)備精度的影響，針腳的實(shí)際位置可能會(huì)和圖紙?jiān)O(shè)計(jì)的距離有所偏離，如果偏離大于設(shè)定的誤差值則屬于不合格的產(chǎn)品，不能流入市場(chǎng)。單個(gè)針腳的大小一般都小于1，誤差一般要求在50～100 μm，類似微小物體的檢測(cè)不可能依靠人眼，研究專門的檢測(cè)系統(tǒng)非常有必要。類似的非接觸檢測(cè)在幾何尺寸檢測(cè)、外觀檢測(cè)、遙感測(cè)量、機(jī)器人視覺以及醫(yī)療診斷等領(lǐng)域有較廣的應(yīng)用，主要的實(shí)現(xiàn)方法有攝影測(cè)量法、光測(cè)法以及利用圖像傳感器測(cè)量等諸多方法[1]。檢測(cè)系統(tǒng)一般需要安裝在工廠的流水線上，因此要求具有高精度和在線檢測(cè)的能力。高精度確保針腳檢測(cè)的準(zhǔn)確性從而有效降低質(zhì)量控制成本；在線檢測(cè)能極大地提高生產(chǎn)效率。為此本文研究了一套基于數(shù)字?jǐn)z影測(cè)量的針腳視覺檢測(cè)系統(tǒng)。
?
1 系統(tǒng)構(gòu)成及檢測(cè)目標(biāo)
針腳視覺檢測(cè)系統(tǒng)包括硬件系統(tǒng)和軟件系統(tǒng)兩部分。硬件系統(tǒng)負(fù)責(zé)圖像獲取，軟件系統(tǒng)負(fù)責(zé)數(shù)據(jù)處理并得出檢測(cè)結(jié)果。其中，硬件系統(tǒng)構(gòu)成如圖2所示，包括以下幾部分：
??? (1)成像設(shè)備。CCD或CMOS的工業(yè)相機(jī)，要求像素在100萬以上。本文中的試驗(yàn)系統(tǒng)采用的是分辨率為1 600×1 200的工業(yè)相機(jī)，成像質(zhì)量基本滿足檢測(cè)要求。利用基于32位操作系統(tǒng)的WDM(Windows Driver Model)視頻捕捉構(gòu)架——DirectShow[2]進(jìn)行影像的采集，作為一種高級(jí)流式媒體的應(yīng)用接口，DirectShow屏蔽了硬件之間的差異，從系統(tǒng)設(shè)計(jì)與開發(fā)的角度而言具有較高的兼容性與通用性[3，4]，就成本和開發(fā)難度而言，非常適合本文所介紹的工業(yè)檢測(cè)系統(tǒng)。
(2)光源。由于物體比較小，所以成像距離小，為了采集到比較好的影像，需要設(shè)計(jì)專門的光源，這個(gè)非常重要。搭載平臺(tái)：放置電子元器件同時(shí)也作為檢測(cè)的基準(zhǔn)，因此對(duì)其加工精度要求較高，一般采用鋼質(zhì)的不易變形的材料，同時(shí)還要求成像時(shí)和目標(biāo)元器件的區(qū)分度較高。
(3)傳送設(shè)備。采用機(jī)器手來放置和取走檢測(cè)完畢的電子元器件，機(jī)器手和PC機(jī)的通訊一般是通過PCI采集卡來進(jìn)行的。
??? (4)PC機(jī)。加載檢測(cè)軟件，同時(shí)負(fù)責(zé)向機(jī)器手發(fā)出信號(hào)。這部分也可以采用帶LED顯示屏的單片機(jī)。
??? 業(yè)內(nèi)評(píng)價(jià)針腳是否合格一般有三個(gè)指標(biāo)：
??? (1)平整度。以平臺(tái)為基準(zhǔn)評(píng)價(jià)針腳距離平臺(tái)的距離，是Y方向上的測(cè)度。
??? (2)正位度。以第一個(gè)針腳或以電子元器件的站腳為基準(zhǔn)，評(píng)價(jià)每個(gè)針腳到基準(zhǔn)的距離，是X方向上的測(cè)度。
??? (3)PIN間距。即相鄰兩個(gè)針腳中心的水平距離，是X方向上的測(cè)度。
??? 以上三個(gè)指標(biāo)若有至少一個(gè)超出限差，則認(rèn)為該產(chǎn)品不合格。為了獲取以上三個(gè)指標(biāo)，一是要提取臺(tái)面的位置，二是要確定站腳的位置，三是要確定每個(gè)針腳的位置，這三個(gè)任務(wù)也是本系統(tǒng)檢測(cè)的主要目標(biāo)。針腳的外形可用外接的最小矩形來擬合，這樣針腳的中心及長(zhǎng)寬就可以用矩形的中心、XY方向的邊長(zhǎng)來表達(dá)。
2 基本原理
2.1 相關(guān)系數(shù)匹配
??? 相關(guān)系數(shù)匹配中用到的匹配測(cè)度是標(biāo)準(zhǔn)化的協(xié)方差函數(shù)[5]，對(duì)于離散的灰度數(shù)據(jù)而言，相關(guān)系數(shù)的計(jì)算有如實(shí)用公式(1)：
其中g(shù)i，j和g′i，j分別為目標(biāo)區(qū)和搜索區(qū)在(i，j)處的灰度值；m，n為目標(biāo)區(qū)窗口的長(zhǎng)和寬。
2.2 金字塔影像
??? 金字塔影像的簡(jiǎn)易構(gòu)建公式如公式(2):
其中g(shù)′i，j和gi,j分別為金字塔影像和原始影像在(i，j)處的灰度值；k為金子塔影像的分辨率，金字塔影像上的一個(gè)像素對(duì)應(yīng)原始影像上k2的個(gè)像素。
2.3 基于模板匹配的檢測(cè)算法
電子器件針腳的成像如圖3所示。針腳影像一般呈現(xiàn)方形的高亮區(qū)域，因此根據(jù)高亮區(qū)域的大小可以生成一個(gè)標(biāo)準(zhǔn)模板。將該模板與針腳影像做模板匹配，計(jì)算模板與影像的相關(guān)系數(shù)，相關(guān)系數(shù)最大的地方對(duì)應(yīng)著針腳的正確位置，這就是本系統(tǒng)檢測(cè)算法的根本出發(fā)點(diǎn)。但是由于相關(guān)系數(shù)的計(jì)算比較花時(shí)間，為了提高計(jì)算的速度，可以采用分級(jí)匹配的方法，即首先將模板和針腳影像分別生成金字塔影像，首先在粗分辨率的影像上做匹配，確定針腳的初始位置，然后在高分辨率影像上精確定位，這就是本算法的基本流程。該算法不僅保證檢測(cè)的精度，而且考慮了檢測(cè)的速度，具有明顯的優(yōu)點(diǎn)。
3 檢測(cè)方案及流程
??? 本系統(tǒng)的成像設(shè)備采用1 600×1 200的分辨率實(shí)時(shí)采集影像，但檢測(cè)目標(biāo)主要集中的區(qū)域只占到全部影像的1/5左右，因此合理設(shè)置檢測(cè)的感興趣區(qū)域十分重要，可大大提高檢測(cè)效率。選取一個(gè)包含所有檢測(cè)針腳的矩形區(qū)域，檢測(cè)工作主要是在這個(gè)區(qū)域內(nèi)進(jìn)行。
??? 具體采用的檢測(cè)方案及流程如下：
??? (1)首先在感興趣區(qū)域中利用相關(guān)系數(shù)模板(根據(jù)針腳的反光特點(diǎn)，標(biāo)準(zhǔn)模板應(yīng)該是內(nèi)白外黑且大小應(yīng)該能包含針腳(如圖4右下角圖像所示))匹配提取出針腳的個(gè)數(shù)和初始位置，并根據(jù)設(shè)計(jì)數(shù)據(jù)進(jìn)行規(guī)則化即相鄰針腳的位置即是圖紙中的設(shè)計(jì)數(shù)據(jù)，這樣做的目的是為了下次檢測(cè)相同規(guī)格的器件時(shí)，如果放置得比較偏時(shí)不至于檢測(cè)失敗。
??? (2)接著生成一幅感興趣區(qū)域的粗一級(jí)的金字塔影像(如圖4左上角圖像所示)(可取分辨率為2，即原始影像中每4個(gè)像素對(duì)應(yīng)金字塔影像中的1個(gè)像素)及對(duì)應(yīng)的標(biāo)準(zhǔn)模板，圖4中的感興趣區(qū)域的大小為1 141×42，其模板大小為31×27，對(duì)應(yīng)的金字塔影像的大小為570×21，其模板大小為17×15，單位均為像素。
??? (3)將(1)中針腳的坐標(biāo)換算到金字塔影像中，換算按公式(2)進(jìn)行，按相關(guān)系數(shù)實(shí)用化公式(1)逐一計(jì)算每個(gè)針腳在臨近區(qū)域的相關(guān)系數(shù)，相關(guān)系數(shù)最大的位置對(duì)應(yīng)針腳的正確位置。
??? (4)將針腳在金字塔影像中的中心位置及外包矩形的邊長(zhǎng)按照公式(2)反算到原始影像中，重復(fù)(3)的過程，只是此時(shí)要注意移動(dòng)步長(zhǎng)可設(shè)為kΔx和kΔy，k為金字塔分辨率，這樣可縮短在原始影像中的計(jì)算時(shí)間，這也是使用金字塔影像的好處。
4 實(shí)驗(yàn)
??? 利用相關(guān)系數(shù)模板匹配在原始影像上獲取到初始位置，如圖5所示。較準(zhǔn)確的初值能減少迭代次數(shù)，提高運(yùn)算效率。按照本文第三部提出的檢測(cè)流程，在金字塔影像中提取針腳的位置，再次反算到原始影像上，對(duì)初始值進(jìn)行修改，為在原始影像中進(jìn)行相關(guān)系數(shù)匹配提供更為精確的初值，從而提高效率。在具備準(zhǔn)確的初值的條件下，程序能較快地定位到精確位置，如圖6所示。為了測(cè)試精度和效率，用上述方法對(duì)不同針腳連續(xù)檢測(cè)，統(tǒng)計(jì)消耗時(shí)間和平面度、正位度以及間距三個(gè)指標(biāo)。測(cè)試計(jì)算機(jī)配置為CPU：Inter(R) Core 2 Duo T5870 2.0 G；內(nèi)存：1 G；顯卡：ATI Mobility Radeon HD 3400 Series。檢測(cè)之前，首先利用量規(guī)塊標(biāo)定相機(jī)的放大倍數(shù)為一個(gè)像素對(duì)應(yīng)8.23μm，然后重復(fù)進(jìn)行100次檢測(cè)試驗(yàn)，共耗時(shí)41 219 μm，相當(dāng)于每次檢測(cè)412.19μm，整個(gè)檢測(cè)過程中，最大跳動(dòng)為8μm。試驗(yàn)結(jié)果表明，速度和精度都能滿足要求。?
???
??? 對(duì)實(shí)驗(yàn)中發(fā)生跳動(dòng)的針腳局部影像(如圖7所示)進(jìn)行分析，發(fā)現(xiàn)有跳動(dòng)的7號(hào)針腳的圖像周圍毛邊較嚴(yán)重；對(duì)比沒有發(fā)生跳動(dòng)的13號(hào)針腳，目標(biāo)與背景能很好地區(qū)分開來。因此，建議為了提高檢測(cè)的精度和可靠性，應(yīng)該盡量使電子器件保持干凈，避免粘上污垢。
??? 以模板匹配為基礎(chǔ)，提出一種電子器件針腳質(zhì)量檢測(cè)方法，同時(shí)對(duì)提高檢測(cè)的效率和精度提出了具體的措施，試驗(yàn)結(jié)果證明該方法是可行的。該方法的提出對(duì)同類產(chǎn)品的檢測(cè)提供了很好的思路，具有借鑒意義。進(jìn)一步提高系統(tǒng)檢測(cè)的效率和精度是今后研究的重點(diǎn)。
參考文獻(xiàn)
[1] 張紅娜，王祁.圖像測(cè)量技術(shù)及其應(yīng)用[J].電測(cè)與儀表，2003，40(451)：19-22.
[2] Microsoft Corporation DirectX 9.0[M]. New York： Microsoft Corporation， 2006.
[3] 陸其明.DirectShow開發(fā)指南[M].北京：清華大學(xué)出版社，2003.
[4] 魏立誠(chéng)，朱桂林.基于DirectShow的視頻采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程，2005，31(14)：187-189.
[5] 張祖勛，張劍清.數(shù)字?jǐn)z影測(cè)量學(xué)[M].武漢：武漢大學(xué)出版社，2001：166-167.