摘 要: 介紹了電子和計(jì)算機(jī)技術(shù)對(duì)計(jì)算機(jī)視覺技術(shù)發(fā)展的影響,以及與計(jì)算機(jī)視覺系統(tǒng)開發(fā)相關(guān)的虛擬儀器開發(fā)平臺(tái)LabVIEW和圖像處理軟件IMAQ Vision的特點(diǎn),重點(diǎn)說明了模型匹配新技術(shù)的原理和特性,并給出這些新技術(shù)在IC標(biāo)記檢驗(yàn)中的應(yīng)用實(shí)例。
關(guān)鍵詞: 計(jì)算機(jī)視覺技術(shù) 虛擬儀器 圖形編程語言 圖像處理
計(jì)算機(jī)視覺技術(shù)在工業(yè)、農(nóng)業(yè)、通信、交通、生物醫(yī)學(xué)等領(lǐng)域有著廣泛用途。在以往的計(jì)算機(jī)視覺系統(tǒng)中,圖像采集卡和PC機(jī)之間基本上都需要有專門的圖像處理裝置。這些圖像處理裝置通常以專門的CPU或高速DSP芯片為核心,需要設(shè)計(jì)專門的電路,用匯編或C等語言編程。因此,使得整個(gè)系統(tǒng)的開發(fā)工作量大,周期長(zhǎng),成本高。近幾年來,日新月異的計(jì)算機(jī)技術(shù)促進(jìn)了基于PC機(jī)的測(cè)控儀器(也稱為虛擬儀器,其中包括計(jì)算機(jī)視覺系統(tǒng))技術(shù)的發(fā)展。計(jì)算機(jī)和電子測(cè)量領(lǐng)域不斷有新的技術(shù)推出,例如為增強(qiáng)多媒體功能而開發(fā)的MMX技術(shù)、數(shù)據(jù)傳輸率達(dá)132MB/s的PCI局部總線和速度越來越快的CPU,以及功能越來越強(qiáng)大的操作系統(tǒng)和圖像處理軟件,還有性能優(yōu)異的圖像采集卡等;使得PC機(jī)的圖像處理能力大大增強(qiáng)。在新型的計(jì)算機(jī)視覺系統(tǒng)中,PC機(jī)可直接對(duì)圖像采集卡采集到信號(hào)進(jìn)行快速的處理,在功能和速度等方面能滿足大多數(shù)工程應(yīng)用的要求。
目前,在IC生產(chǎn)過程中的大部分工序中都利用計(jì)算機(jī)視覺系統(tǒng)進(jìn)行在線的過程監(jiān)控。其中的一個(gè)工序是IC標(biāo)記質(zhì)量的在線檢驗(yàn)。標(biāo)記質(zhì)量檢驗(yàn)包括對(duì)IC表面的標(biāo)記(商標(biāo)圖案和字符)的位置、角度、清晰程度、是否缺損和錯(cuò)漏等情況的檢驗(yàn)。IC上的標(biāo)記通常用激光刻繪或印刷的方法加工而成。據(jù)了解,國(guó)內(nèi)的半導(dǎo)體器件制造業(yè)所配置的計(jì)算機(jī)視覺系統(tǒng)均為外國(guó)產(chǎn)品,IC標(biāo)記質(zhì)量檢驗(yàn)計(jì)算機(jī)視覺系統(tǒng)的主要生產(chǎn)商是ICOS公司和HP公司,國(guó)內(nèi)現(xiàn)在使用的系統(tǒng)基本上是需要專門圖像處理裝置的舊式結(jié)構(gòu)的系統(tǒng)。
根據(jù)一家IC生產(chǎn)廠家所提出的技術(shù)要求,我們采用計(jì)算機(jī)視覺新技術(shù)設(shè)計(jì)了一套IC標(biāo)記質(zhì)量檢驗(yàn)系統(tǒng) (以下簡(jiǎn)稱為IC檢驗(yàn)系統(tǒng))。該系統(tǒng)具有結(jié)構(gòu)簡(jiǎn)單靈活、功能強(qiáng)和性能價(jià)格比高等特點(diǎn)。
1 IC檢驗(yàn)系統(tǒng)的結(jié)構(gòu)和配置
1.1 系統(tǒng)的結(jié)構(gòu)
IC檢驗(yàn)系統(tǒng)由光源、鏡頭、CCD攝像機(jī)、圖像采集卡、PC機(jī)和專門的應(yīng)用軟件組成。IC檢驗(yàn)系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。
在工廠中,IC檢驗(yàn)系統(tǒng)需與專門的傳送包裝系統(tǒng)相互配合才能完成IC標(biāo)記質(zhì)量的檢驗(yàn)和包裝工作。IC標(biāo)記質(zhì)量檢驗(yàn)工序主要有以下幾個(gè)步驟:首先由傳送包裝系統(tǒng)先將IC逐個(gè)裝入條狀塑料包裝帶的空格內(nèi),包裝帶在IC檢驗(yàn)系統(tǒng)的鏡頭下方一格一格地快速移動(dòng)。包裝帶每移動(dòng)一次,傳送包裝系統(tǒng)就會(huì)通過接口電路查詢IC檢驗(yàn)系統(tǒng)是否處于準(zhǔn)備就緒的狀態(tài);是則發(fā)出信號(hào)通知IC檢驗(yàn)系統(tǒng)對(duì)IC進(jìn)行測(cè)試。若檢驗(yàn)合格,包裝帶前移一格,再重復(fù)前面的步驟。若IC不合格,IC檢驗(yàn)系統(tǒng)發(fā)出信號(hào)通知傳送包裝系統(tǒng)更換IC,待IC更換后,再進(jìn)行檢驗(yàn)。
1.2 系統(tǒng)的配置
CCD攝像機(jī):敏通公司的MTV-1881EX型1/2″黑白攝像機(jī),795(H)×596(V)圖像像素,600TV線水平分辨率,最低照度0.021x,信噪比優(yōu)于48dB。
圖像采集卡:美國(guó)國(guó)家儀器 (NI)公司的PCI-1408型單色圖像采集卡,采用PCI總線,具有8位分辨率,更新速率為25幀/s(PAL)。該卡有4根觸發(fā)信號(hào)和8根同步信號(hào)線,可用于與其它DAQ卡或外部設(shè)備通信聯(lián)絡(luò)。
PC機(jī):聯(lián)想PIII/450,64M內(nèi)存,8.4G硬盤。
操作系統(tǒng):Windows 98。
應(yīng)用軟件:自行開發(fā)的IC標(biāo)記質(zhì)量檢驗(yàn)程序。
2 開發(fā)工具軟件
以軟件為中心是虛擬儀器的一大特點(diǎn),虛擬儀器的開發(fā)往往以軟件為主。因此,選擇好的開發(fā)工具軟件十分重要。我們采用了NI公司的虛擬儀器開發(fā)平臺(tái)LabVIEW 5.1和圖像處理軟件包IMAQ Vision 5.0作為開發(fā)工具。
2.1 LabVIEW
LabVIEW是一種基于圖形編程語言的虛擬儀器應(yīng)用軟件開發(fā)平臺(tái),特別適用于測(cè)試、測(cè)量、儀器控制、過程監(jiān)控和工業(yè)自動(dòng)化等方面的工程應(yīng)用軟件的開發(fā)。它采取編譯方式生成的應(yīng)用程序可脫離開發(fā)平臺(tái)而獨(dú)立運(yùn)行,運(yùn)行速度與C語言相當(dāng)。它在數(shù)據(jù)采集、信號(hào)處理和數(shù)據(jù)表達(dá)等方面有很強(qiáng)的能力,并且具有直觀易學(xué)和編程效率高等特點(diǎn)。與通用編程語言(例如VC和VB)相比,可節(jié)省一半以上的軟件開發(fā)時(shí)間。它可通過DLL等多種方式與其它語言的應(yīng)用程序連接。LabVIEW 5.1版在很多方面作了改進(jìn),例如加強(qiáng)了信號(hào)處理和分析、3D圖形顯示和報(bào)告生成的功能,以及ActiveX和網(wǎng)上數(shù)據(jù)交換等方面的功能。
2.2 IMAQ Vision for LabVIEW
IMAQ Vision包含一系列MMX優(yōu)化函數(shù)。它使LabVIEW具有科研和工程中常用的圖像處理功能,例如各種類型的濾波、統(tǒng)計(jì)、幾何變換和圖像顯示的功能,還有模型匹配、邊緣檢測(cè)、斑點(diǎn)分析和測(cè)量等功能。IMAQ Vision 5.0在模型匹配和感興趣區(qū)域ROI的控制等方面作了進(jìn)一步的改進(jìn),總體性能有了明顯的提高。
3 模型匹配的新技術(shù)
IC檢驗(yàn)系統(tǒng)采用了IMAQ Vision中的圖像處理新技術(shù),其中最有特色的是模型匹配技術(shù)。模型匹配是最常用的圖像處理方法之一。傳統(tǒng)的模型匹配常采用相關(guān)算法。該方法處理速度較慢,而且對(duì)匹配對(duì)象的大小比例和角度的變化有很大的限制。
IMAQ Vision 5.0的模型匹配技術(shù)采用了三種新方法:高效率的非均勻圖像采集、與旋轉(zhuǎn)和大小比例無關(guān)的樣板信息提取,以及圖像的幾何建模。這些新方法大大提高了模型匹配的速度。
將一幅圖像轉(zhuǎn)換成數(shù)字信息時(shí),往往包含大量冗余信息。如果對(duì)一幅圖像的所有信息進(jìn)行模型匹配處理,將會(huì)很費(fèi)時(shí)。但是,如果只對(duì)圖像中有代表意義的部分進(jìn)行采樣,就可以大大減小要處理的信息量,從而加快了處理速度。圖2是非均勻采樣法原理示意圖。圖2(a)是樣板(Template)的原始圖像,圖2(b)中的黑點(diǎn)用來表示那些代表樣板圖像的信息。顯然,在圖像中灰度均勻的區(qū)域采樣點(diǎn)較少,灰度變化大的區(qū)域采樣較多,采樣的密度隨圖像內(nèi)的情況自動(dòng)調(diào)整。
邊緣檢測(cè)的方法能提供有關(guān)圖像結(jié)構(gòu)的信息,一個(gè)圖像中圖形邊緣的信息遠(yuǎn)遠(yuǎn)少于整個(gè)圖像的信息。邊緣信息還可以作進(jìn)一步處理,以提取圖像中幾何形狀圖形有關(guān)的數(shù)據(jù),例如被測(cè)圖像中直線和園形的數(shù)量等。模型匹配中匹配對(duì)象的計(jì)數(shù)可簡(jiǎn)化為幾何圖形的匹配處理。圖3是邊緣檢測(cè)和幾何建模技術(shù)示意圖。圖3(a)是樣板圖像,圖3(b)是圖形邊緣強(qiáng)化后的圖像,圖3(c)是以幾何形狀表示圖形邊緣的圖像。 IMAQ Vision中與模型匹配相關(guān)的函數(shù)綜合運(yùn)用了非均勻采樣、邊緣檢測(cè)和幾何建模等方法,令模型匹配快速而準(zhǔn)確,并允許匹配對(duì)象可以有0~360度的旋轉(zhuǎn)和一定范圍的大小比例變化。即使是在照明狀況有變化(指均勻變化)、鏡頭聚焦不太好和部分圖形被隱藏的情況下,也能取得相當(dāng)準(zhǔn)確的結(jié)果。
4 軟件設(shè)計(jì)
4.1 LabVIEW編程的基本方法
用LabVIEW開發(fā)的應(yīng)用程序主要由面板和流程圖組成。面板的設(shè)計(jì)相當(dāng)簡(jiǎn)便快捷,因?yàn)長(zhǎng)abVIEW有很豐富的控件庫,其中包含工程上常用的各種各樣的開關(guān)、旋鈕,表頭、數(shù)值指示器和波形顯示器等儀表面板部件。設(shè)計(jì)面板的基本工作就是從控件庫中選取所需的控件,并以很簡(jiǎn)便方法為它們?cè)O(shè)置合適的屬性(例如尺寸、顏色、量程等)和位置。如有需要,這些屬性可通過程序進(jìn)行調(diào)整。面板上的所有控件都會(huì)在流程圖中自動(dòng)生成對(duì)應(yīng)的圖標(biāo)。LabVIEW的函數(shù)庫內(nèi)有上千種函數(shù)和子程序,它們也是以圖標(biāo)形式出現(xiàn)。流程圖主要由面板上控件的圖標(biāo)、函數(shù)圖標(biāo)和連線組成。通常情況下,在圖標(biāo)左側(cè)連接輸入?yún)?shù),而輸出參數(shù)從圖標(biāo)右側(cè)引出。設(shè)計(jì)流程圖的基本方法是:從函數(shù)庫中選取所需的函數(shù)圖標(biāo),并按照數(shù)據(jù)在程序中傳送的順序把它們和控件圖標(biāo)的位置統(tǒng)一編排好,再用連線工具將圖標(biāo)都連接起來。
4.2 模型匹配函數(shù)的編程
IMAQ Vision中的模型匹配函數(shù)IMAQ Match Pattern可提供所有查找到的匹配對(duì)象的檢測(cè)結(jié)果,其中包括匹配對(duì)象的數(shù)目、位置坐標(biāo)、旋轉(zhuǎn)角度、大小比例和相似程度計(jì)分(以1000分為滿分)。模型匹配函數(shù)需要以下幾個(gè)相關(guān)函數(shù)的配合才能得到正確的結(jié)果。
(1)學(xué)習(xí)模式設(shè)置函數(shù)(IMAQ)用于設(shè)定建立樣板模型時(shí)的學(xué)習(xí)模式。學(xué)習(xí)模式有三種:僅允許樣板位移的模式,僅允許樣板旋轉(zhuǎn)的模式,以及允許樣板位移和旋轉(zhuǎn)的模式。
(2)學(xué)習(xí)建模函數(shù)(IMAQ)運(yùn)用模型匹配新方法將樣板的原始圖像轉(zhuǎn)換成描述數(shù)據(jù)形式的樣板模型。
(3)模型匹配參數(shù)設(shè)置函數(shù)IMAQ Setup Match Pattern用于集合最小對(duì)比度和匹配模式等多種參數(shù)。
圖4是一個(gè)模型匹配程序(流程圖)實(shí)例,用來說明模型匹配的基本編程方法。
我們用自編的測(cè)試程序?qū)δP推ヅ浜瘮?shù)的幾項(xiàng)主要技術(shù)指標(biāo)進(jìn)行了測(cè)試,測(cè)試是在IC檢驗(yàn)系統(tǒng)的軟硬件配置條件下進(jìn)行的,測(cè)試結(jié)果如表1所示。
4.3 IC 標(biāo)記檢驗(yàn)系統(tǒng)應(yīng)用程序的設(shè)計(jì)
IC檢驗(yàn)系統(tǒng)應(yīng)用程序的面板如圖5所示。圖5中的1、2、3等數(shù)字表明有關(guān)控件(按鍵和數(shù)值輸入等)操作的主要步驟和程序運(yùn)行的基本順序。
(1) “制作標(biāo)準(zhǔn)圖像”按鈕用于為一個(gè)完全符合要求的IC拍攝一幅標(biāo)準(zhǔn)圖像,作為模型匹配樣板圖像的基準(zhǔn)。
(2)“設(shè)定搜索區(qū)域”按鈕用作在標(biāo)準(zhǔn)圖像的中間位置上自動(dòng)生成一個(gè)搜索矩形框,該框用來限定標(biāo)記檢驗(yàn)搜索區(qū)域。搜索區(qū)域應(yīng)選擇IC的主體為宜。因?yàn)椋阉鲄^(qū)域不僅是作為符號(hào)匹配檢驗(yàn)的搜索區(qū)域,而且是作為IC主體的樣板圖像,它作為基準(zhǔn)被轉(zhuǎn)換為IC主體的樣板模型。在每個(gè)IC檢驗(yàn)的開始階段,該樣板模型與被檢驗(yàn)IC的圖像進(jìn)行模型匹配,找到IC主體并校正其坐標(biāo)位置和角度。
(3)“調(diào)整搜索區(qū)域位置”數(shù)字式和滑動(dòng)式數(shù)值控件可上下左右地移動(dòng)搜索矩形框,而“調(diào)整搜索區(qū)域大小”的數(shù)值控件則用來改變搜索矩形框的邊長(zhǎng);這兩種操作交替地進(jìn)行即可精確地選擇搜索區(qū)域。
(4)“增加檢驗(yàn)符號(hào)”按鈕用于選擇待檢驗(yàn)的字符。先用鼠標(biāo)框選要檢驗(yàn)符號(hào),再用“增加檢驗(yàn)符號(hào)”按鈕確認(rèn)這一選擇??蜻x的位置沒有限制,但字符選擇框的邊長(zhǎng)不能小于8個(gè)像素,也不能超出搜索區(qū)域??蜻x字符的數(shù)目最多可達(dá)200個(gè)??蜻x字符的目的是縮小匹配處理的范圍,提高檢測(cè)準(zhǔn)確性。
(5) “學(xué)習(xí)建?!卑粹o啟動(dòng)為所有被選符號(hào)建立樣板模型的工作。這些樣板模型被用來作為符號(hào)檢驗(yàn)的基準(zhǔn)。
(6)在檢驗(yàn)參數(shù)和檢驗(yàn)方式設(shè)置欄目中,“對(duì)比度”控件用于設(shè)定被檢驗(yàn)IC圖像的最小對(duì)比度?!昂细穹?jǐn)?shù)”、“位移上限”和“旋轉(zhuǎn)上限”控件的設(shè)定值是判斷IC標(biāo)記質(zhì)量是否合格的門限值,它們均可由用戶根據(jù)實(shí)際要求來設(shè)定。例如,按照?qǐng)D5中這幾項(xiàng)的設(shè)定值,被檢驗(yàn)的符號(hào)匹配計(jì)分達(dá)700分,而且位移未超過25μm,旋轉(zhuǎn)角度未超過0.3度時(shí),為合格符號(hào)。所有被測(cè)符號(hào)均合格時(shí),IC標(biāo)記質(zhì)量才算合格。
(7) “開始IC檢驗(yàn)”按鈕用于發(fā)出IC檢驗(yàn)系統(tǒng)已做好準(zhǔn)備的信號(hào)。若傳送包裝系統(tǒng)亦已準(zhǔn)備好,它會(huì)發(fā)出信號(hào)讓IC檢驗(yàn)系統(tǒng)開始檢驗(yàn)工作。
此外,統(tǒng)計(jì)數(shù)據(jù)欄中的“存盤”和“打印”按鈕用于存儲(chǔ)或打印IC標(biāo)記質(zhì)量檢驗(yàn)的統(tǒng)計(jì)數(shù)據(jù)。
圖5中名為搜索區(qū)域的圖像是待測(cè)IC主體部分的圖像,而名為角度校正的圖像是以標(biāo)準(zhǔn)IC圖像為基準(zhǔn)的經(jīng)角度校正后的圖像,校正的目的是準(zhǔn)確地計(jì)算出被檢驗(yàn)符號(hào)的位置偏移和角度變化。字符質(zhì)量檢驗(yàn)的其它項(xiàng)目由相似程度計(jì)分來統(tǒng)一判斷。
總之,借助于電子和計(jì)算機(jī)等領(lǐng)域的最新技術(shù),新型計(jì)算機(jī)視覺系統(tǒng)在結(jié)構(gòu)和性能等方面有了突破性的進(jìn)展。功能強(qiáng)大和高效率的虛擬儀器和圖像處理工具軟件為計(jì)算機(jī)視覺系統(tǒng)的開發(fā)和推廣應(yīng)用提供了更加有利的條件。在IC標(biāo)記質(zhì)量檢驗(yàn)系統(tǒng)中所采用的光學(xué)符號(hào)檢驗(yàn)新技術(shù)除了可用于各類型印刷符號(hào)的檢驗(yàn)外,也適用于各種產(chǎn)品的元器件安裝方位和缺漏等檢測(cè)項(xiàng)目。而且,基于PC機(jī)的計(jì)算機(jī)視覺系統(tǒng)還可以利用網(wǎng)絡(luò)技術(shù)與其它虛擬儀器或測(cè)控設(shè)備組成網(wǎng)絡(luò)化的產(chǎn)品質(zhì)量監(jiān)控系統(tǒng)。
參考文獻(xiàn)
1 LabVIEW Version 5.1 Addemdum. National Instruments Corporation Manual, 1999
2 IMAQ Vision User Manual. National Instruments Corporation Manual,1999