《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 可編程邏輯 > 設(shè)計(jì)應(yīng)用 > 基于CPLD的服務(wù)機(jī)器人的視覺(jué)系統(tǒng)設(shè)計(jì)
基于CPLD的服務(wù)機(jī)器人的視覺(jué)系統(tǒng)設(shè)計(jì)
摘要: 本文研究基于服務(wù)機(jī)器人的單目視覺(jué)系統(tǒng)。它處理的是二維圖像,是基于對(duì)無(wú)遮擋物體顏色和形狀的識(shí)別以及3D目標(biāo)物體的平動(dòng)跟蹤。
Abstract:
Key words :

隨著計(jì)算機(jī)科學(xué)和自動(dòng)控制技術(shù)的發(fā)展,越來(lái)越多的不同種類(lèi)的智能機(jī)器人出現(xiàn)在工廠、生活當(dāng)中,機(jī)器人視覺(jué)系統(tǒng)作為智能機(jī)器人系統(tǒng)中一個(gè)重要的子系統(tǒng),也越來(lái)越受到人們的重視。它涉及了圖像處理、模式識(shí)別和視覺(jué)跟蹤等領(lǐng)域。不同種類(lèi)的機(jī)器人由于工作的重點(diǎn)不一樣,它的視覺(jué)系統(tǒng)在軟件或硬件上都有著細(xì)微的差別。本文研究基于服務(wù)機(jī)器人的單目視覺(jué)系統(tǒng)。它處理的是二維圖像,是基于對(duì)無(wú)遮擋物體顏色和形狀的識(shí)別以及3D目標(biāo)物體的平動(dòng)跟蹤。

視覺(jué)系統(tǒng)是一個(gè)非常復(fù)雜的系統(tǒng),它既要做到圖像的準(zhǔn)確采集還要做到對(duì)外界變化反應(yīng)的實(shí)時(shí)性,同時(shí)還需要對(duì)外界運(yùn)動(dòng)的目標(biāo)實(shí)時(shí)跟蹤。因此,視覺(jué)系統(tǒng)對(duì)硬件和軟件系統(tǒng)都提出了較高的要求。目前比較流行的足球機(jī)器人技術(shù),它的視覺(jué)系統(tǒng)屬于比較典型的快速識(shí)別和反應(yīng)類(lèi)型。一般情況下,它是通過(guò)彩色標(biāo)志定標(biāo)的方法來(lái)達(dá)到對(duì)隊(duì)員和目標(biāo)的識(shí)別,以及通過(guò)擴(kuò)展卡爾曼濾波器的預(yù)測(cè)功能來(lái)實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤功能。在硬件上,采用一個(gè)現(xiàn)成的攝像機(jī)來(lái)實(shí)現(xiàn)一個(gè)機(jī)器人的圖像采集系統(tǒng)。

本系統(tǒng)在設(shè)計(jì)上采用CMOS圖像傳感器代替CCD類(lèi)型傳感器進(jìn)行采集圖像,DSP處理芯片TMS320VC5509A進(jìn)行圖像處理以及作為CPU控制,在設(shè)計(jì)過(guò)程中,為了直觀顯現(xiàn)機(jī)器人視覺(jué)系統(tǒng)識(shí)別和跟蹤的效果,專(zhuān)門(mén)采用了一個(gè)TFT格式的液晶來(lái)直觀顯示。軟件上,采用了一部分足球機(jī)器人的視覺(jué)技術(shù)來(lái)達(dá)到對(duì)目標(biāo)的快速識(shí)別,通過(guò)全局的特征矩構(gòu)建的雅可比矩陣達(dá)到對(duì)目標(biāo)的自適應(yīng)跟蹤。

1 硬件部分設(shè)計(jì)

圖1為系統(tǒng)硬件電路的功能模塊框圖。

 

http://www.21ic.com/d/file/201212/8ebc9b161a846e5f08d995e332a478bf.jpg

 

1.1 圖像采集

視覺(jué)鏡頭把外部的圖像信息成像在圖像傳感器的面陣單元上。目前流行的圖像傳感器有面陣CCD(Charged Coupled Device,電荷耦合器件)型和面陣CMOS兩種。相比較CCD型的圖像傳感器,CMOS圖像傳感器的有源像素單元為每一個(gè)像素提供了放大器,只需一個(gè)單供電低邏輯電平電壓,功耗只相當(dāng)于CCD的十分之一。CMOS圖像傳感器內(nèi)部集成了A/D轉(zhuǎn)換部分,直接輸出數(shù)字信號(hào)?;谶@些因素,本系統(tǒng)采用了Omnivision公司推出的CMOS彩色圖像傳感器OV7635。

OV7635的分辨力為640X480,能輸出3種格式的8位數(shù)據(jù):YCbCr4:2:2模式、RGB4:2:2模式和RGB原始數(shù)據(jù)模式。輸出VGA格式最大可達(dá)到30fps(fps:每秒幀數(shù))。能工作在逐行掃描下和隔行掃描下。OV7635有主模式和從模式兩種工作模式。在主模式下,同步信號(hào)和時(shí)鐘不由外圍設(shè)備控制。在從模式下,OV7635的場(chǎng)同步信號(hào)VSYNC,行同步信號(hào)HREF以及系統(tǒng)的晶振頻率XCLK均由外部設(shè)備控制。本系統(tǒng)采用的是主模式。OV7635通過(guò)I2C總線配置片內(nèi)寄存器,使其輸出原始數(shù)據(jù)。系統(tǒng)上電復(fù)位后,由DSP芯片的I2C總線信號(hào)對(duì)CMOS寄存器初始化。然后OV7635就按要求輸出圖像信號(hào)。包括行同步信號(hào)HREF,場(chǎng)同步信號(hào)VSYNC,像素時(shí)鐘信號(hào)PCLK,數(shù)字圖像信號(hào)。

1.2 液晶顯示

為了很直觀的看到視覺(jué)系統(tǒng)對(duì)人的識(shí)別和跟蹤效果,采用了一片INNOLUX公司的PT035TN01液晶顯示屏。為了不增加對(duì)DSP的負(fù)擔(dān),同時(shí)也為了實(shí)時(shí)看到對(duì)外界目標(biāo)物體的跟蹤效果,液晶顯示的數(shù)據(jù)不經(jīng)由DSP,直接通過(guò)傳感器OV7635輸出的圖像數(shù)據(jù)信號(hào)和CPLD控制時(shí)序來(lái)進(jìn)行顯示。PT035TN01是3.5英寸TFT格式的液晶,分辨力為320×3(RGB)×240,液晶IF1、IF2兩輸入控制腳對(duì)輸入的數(shù)據(jù)格式進(jìn)行選擇:串行RGB格式、CCIR601格式、CCIR656格式。液晶的掃描模式有4種。本視覺(jué)系統(tǒng)采用的輸入數(shù)據(jù)格式是CCIR601格式,掃描模式為由上到下和左到右的掃描模式。

在CCIR601格式下,圖像傳感器輸出的像素時(shí)鐘PCLK通過(guò)CPLD二分頻作為液晶的工作時(shí)鐘,圖像傳感器輸出的行同步信號(hào)HREF經(jīng)過(guò)CPLD的處理后作為液晶的行同步信號(hào)HIS,這樣,在CPLD控制下,圖像傳感器OV7635輸出的數(shù)據(jù)信號(hào)送入液晶中進(jìn)行顯示。

1.3 時(shí)序控制

OV7635輸出的場(chǎng)同步信號(hào)VSYNC,行同步信號(hào)HREF以及像素時(shí)鐘信號(hào)PCLK接至CPLD芯片,產(chǎn)生控制信號(hào)把OV7635輸出的數(shù)據(jù)信號(hào)存入FIFO幀存儲(chǔ)器AL422B中,以及產(chǎn)生液晶的時(shí)鐘和行同步信號(hào)控制液晶的顯示。CPLD采用了ALTERA公司的EPM7064芯片。在CPLD中完成了對(duì)FIFO的寫(xiě)控制、通知DSP讀信號(hào)、液晶的時(shí)鐘信號(hào)的產(chǎn)生等功能。

CPLD接收?qǐng)鐾叫盘?hào)VSYNC,此信號(hào)的下降沿表示圖像傳感器輸出一幀的開(kāi)始,此時(shí)CPLD產(chǎn)生WRST負(fù)脈沖復(fù)位FIFO的寫(xiě)指針。場(chǎng)同步信號(hào)VSYNC下降沿后,判斷行同步信號(hào)HREF的上升沿到來(lái),接著利用像素時(shí)鐘信號(hào)PCLK作為寫(xiě)時(shí)鐘WCK將圖像數(shù)據(jù)直接存儲(chǔ)到FIFO中,當(dāng)存到一定的數(shù)后,就及時(shí)發(fā)信號(hào)給DSP,以便DSP讀取數(shù)據(jù),本系統(tǒng)采用的是一個(gè)中斷INT0來(lái)通知DSP。此時(shí)DSP可以讀數(shù)據(jù)也可以不讀,視處理的速度來(lái)定。讀數(shù)據(jù)時(shí),可利用RD和片選,產(chǎn)生RCK信號(hào)。DSP讀取的速度不能太快,以讀取速度小于寫(xiě)速度為原則。

在對(duì)液晶的邏輯時(shí)序控制上,由于圖像輸出的信號(hào)是640×480的像素,而液晶的顯示為320×240的格式。所以利用CPLD把圖像傳感器輸入的像素時(shí)鐘信號(hào)PCLK進(jìn)行二分頻產(chǎn)生液晶的時(shí)鐘信號(hào)控制液晶的顯示,同時(shí)對(duì)行同步信號(hào)進(jìn)行隔行有效從而達(dá)到液晶對(duì)圖像的顯示。CPLD中的程序編寫(xiě)用的采用了硬件描述語(yǔ)言VHDL,在QUARTUSⅡ軟件平臺(tái)上進(jìn)行編寫(xiě)的。由于在選用芯片時(shí)采用的是EPM7064S系列的44腳PLCC封裝的,只能工作在5V電壓情況下,其輸出的高電平信號(hào)是5V,必須通過(guò)處理才能接入系統(tǒng)中工作在3。3V狀態(tài)下的芯片器件。

1.4 幀存儲(chǔ)器選擇

幀存儲(chǔ)器有需要外部提供地址線的RAM和不需要外部提供地址線的FIFO,為了簡(jiǎn)化CPLD的設(shè)計(jì)。采用了FIFO的幀存儲(chǔ)器。FIFO又可以分為基于動(dòng)態(tài)存儲(chǔ)的DRAM和基于靜態(tài)的SRAM?;陟o態(tài)SRAM的優(yōu)點(diǎn)是不需要刷新電路,但容量小,需要多片才能存儲(chǔ)一幀數(shù)據(jù);基于DRAM的優(yōu)點(diǎn)是容量大,只需一片就能存儲(chǔ)一幀數(shù)據(jù),缺點(diǎn)是必須有刷新電路。本設(shè)計(jì)中采用的是Averlogic公司的大容量FIFO動(dòng)態(tài)存儲(chǔ)芯片AL422B。其刷新電路比較簡(jiǎn)單,僅需WCK或RCK提供大于1M的不間斷脈沖即可。AL422B的存儲(chǔ)容量為3MB,由于系統(tǒng)一幀的信息通常包含640×480個(gè)彩色像素,每個(gè)像素占用2個(gè)字節(jié),可存儲(chǔ)1幀圖像的完整信息,其工作頻率可達(dá)50MHz。

1.5 視頻處理DSP

在選用DSP時(shí),在兼顧處理速度,存儲(chǔ)容量,現(xiàn)有條件下的加工工藝水平,以及性價(jià)比方面,選用了TI公司的144腳封裝的TMS320VC5509A,此芯片的最高工作頻率可達(dá)到200MHz,具有很高的處理速度。

DSP收到來(lái)自CPLD的讀通知信號(hào)后開(kāi)始讀取AL422B中的視頻數(shù)據(jù)。為了方便處理數(shù)據(jù),在DSP外圍擴(kuò)展了一個(gè)的SDRAM。芯片采用的是HYNIX公司的HY57V161610E,此芯片的存儲(chǔ)容量為1M×16bits。

當(dāng)DSP上電復(fù)位后,通過(guò)采樣GPIO0~GPIO3的狀態(tài),根據(jù)采樣的狀態(tài)來(lái)進(jìn)行什么樣方式的程序裝載。本系統(tǒng)的采用外接的flash存儲(chǔ)芯片的SPI口對(duì)DSP進(jìn)行程序裝載,接著通過(guò)DSP的I2C口對(duì)圖像傳感器進(jìn)行寄存器初始化。圖像傳感器開(kāi)始輸出信號(hào)。整個(gè)系統(tǒng)開(kāi)始進(jìn)入工作。

DSP作為高速的處理器,主要用于圖像的處理。由于本視覺(jué)系統(tǒng)要完成識(shí)別和跟蹤功能,數(shù)據(jù)的處理量是很大的。在完成圖像處理的同時(shí),DSP也作為控制器使用完成對(duì)控制器的控制,從而構(gòu)成視覺(jué)跟蹤系統(tǒng)。

2 軟件部分設(shè)計(jì)

由于本系統(tǒng)采用的是顏色和形狀相結(jié)合的辦法對(duì)無(wú)遮擋目標(biāo)物體的識(shí)別。為了達(dá)到機(jī)器人實(shí)時(shí)快速的目的,在軟件方法上,主要采用了目前常用的足球機(jī)器人的顏色識(shí)別方法,目前比較常見(jiàn)是基于閾值向量的顏色判斷法。下面簡(jiǎn)述顏色識(shí)別原理。

2.1 色彩空間選擇

對(duì)于采用基于彩色圖像分割的方法識(shí)別目標(biāo)時(shí),首先要選擇合適的顏色空間,常用的顏色空間有RGB、YUV、HSV、CMY等。顏色空間的選擇直接影響到圖像分割和目標(biāo)識(shí)別的效果。

RGB:是最常用的顏色空間,其中亮度等于R、G、B3個(gè)分量之和。RGB顏色空間是不均勻的顏色空間,兩個(gè)顏色之間的知覺(jué)差異與空間中兩點(diǎn)間的歐氏距離不成線性比例,而且R、G、B值之間的相關(guān)性很高,對(duì)同一顏色屬性,在不同條件(光源種類(lèi)、強(qiáng)度和物體反射特性)下,RGB值很分散,對(duì)于識(shí)別某種特定顏色,很難確定其閾值和其在顏色空間中的分布范圍。因此通常會(huì)選擇能從中分離出亮度分量的顏色空間,其中最常見(jiàn)的是YUV和HSV顏色空間。

HSV:接近人眼感知色彩的方式,H為色調(diào)(Hue),S為色飽和度(Saturation),V為亮度(Value)。色調(diào)H能準(zhǔn)確地反映顏色種類(lèi),對(duì)外界光照條件變化敏感度低,但是H和S均為R、G、B的非線性變換,存在奇異點(diǎn),在奇異點(diǎn)附近即使R、G、B的值有很小變化也引起變換值有很大的跳動(dòng)。

YUV:RGB顏色空間線性變化為的亮度-色彩空間。是為了解決彩色電視機(jī)與黑白電視機(jī)的兼容問(wèn)題而提出的。Y表示亮度(Luminance),UV用來(lái)表示色差(Chrominance)。YUV表示法的重要性是它的亮度信號(hào)(Y)和色度信號(hào)(U、V)是相互獨(dú)立的。所謂色差是指基色信號(hào)中的3個(gè)分量信號(hào)(即R、G、B)與亮度信號(hào)之差。

因此,針對(duì)以上原因,本系統(tǒng)在采用的是YUV色彩空間。

YUV格式與RGB存在如下關(guān)系:

http://www.21ic.com/d/file/201212/0e43f39a1f10d49813ea590883ca388c.jpg

2.2 閾值確定和色彩判斷

在確定閾值時(shí),首先通過(guò)采集樣本進(jìn)行訓(xùn)練,從而得到預(yù)定的幾種顏色在YUV空間的分量的上下閾值,如圖2所示。

http://www.21ic.com/d/file/201212/b52eb481e2221614f1505d256b74f620.jpg

當(dāng)一個(gè)待判定的像素在色彩空間中的位置落在這個(gè)長(zhǎng)方體中時(shí),就認(rèn)為該像素屬于要找的顏色,從而完成對(duì)圖像顏色的識(shí)別。在Y空間中,Y值表示亮度,因它的變化很大,所以只考慮了U和V的值,在進(jìn)行顏色判斷時(shí),首先分別建立U、V的閾值向量。

由于在系統(tǒng)中圖像傳感器的數(shù)字信號(hào)是8位,即1Byte,共255Byte,系統(tǒng)最多能判定8種顏色。在顏色識(shí)別后進(jìn)行圖像分割,在圖像分割中采用了種子填充算法,其整個(gè)種子的填充是和像素點(diǎn)的顏色同時(shí)進(jìn)行的,一開(kāi)始不是對(duì)所有的像素進(jìn)行處理,而是分塊進(jìn)行的,本系統(tǒng)采用的塊是32×24像素,這樣計(jì)算量大大減小。當(dāng)中心點(diǎn)是所要識(shí)別的顏色時(shí),就以這個(gè)點(diǎn)為種子向四周擴(kuò)散,并判定周?chē)袼攸c(diǎn)的顏色,直到填滿整個(gè)塊。在這過(guò)程中,同時(shí)對(duì)目標(biāo)進(jìn)行形狀識(shí)別。本系統(tǒng)采用了基于全局的特征向量的識(shí)別算法來(lái)進(jìn)行識(shí)別。同時(shí)也為構(gòu)建雅可比矩陣得到需要的矩特征量。圖3為圖像識(shí)別分割流程圖。

http://www.21ic.com/d/file/201212/b6953979d16cdb5e2d3c41d42b233f0c.jpg

2.3 視覺(jué)跟蹤軟件原理

當(dāng)目標(biāo)物體被識(shí)別以后,視覺(jué)系統(tǒng)將調(diào)整鏡頭使目標(biāo)位于視野的中心。一旦物體運(yùn)動(dòng),視覺(jué)系統(tǒng)將進(jìn)行對(duì)目標(biāo)物體的跟蹤。

在機(jī)器人視覺(jué)跟蹤系統(tǒng)上,采用無(wú)定標(biāo)的視覺(jué)跟蹤系統(tǒng)。無(wú)定標(biāo)的視覺(jué)跟蹤不需要事先對(duì)攝像鏡頭進(jìn)行定標(biāo),而是應(yīng)用自適應(yīng)控制方面的原理,在線的實(shí)時(shí)調(diào)整圖像雅可比矩陣。通過(guò)二維的圖像特征信息反饋,這種方式對(duì)攝像機(jī)模型誤差和機(jī)器人模型誤差、圖像誤差、圖像噪聲不敏感?;趫D像跟蹤的視覺(jué)跟蹤控制系統(tǒng),如圖4。

 

http://www.21ic.com/d/file/201212/f4b82a09e01d9e6a3fe17f3996ebe0e5.jpg

 

控制量c為機(jī)器人頭部的控制系統(tǒng)。首先把目標(biāo)放在機(jī)器人視野的前方采集到期望的圖像,從期望圖像中抽取期望的特征集,作為視野跟蹤控制系統(tǒng)的期望輸入,從而完成任務(wù)需要的視野特征集定義。在實(shí)時(shí)控制系統(tǒng)中,由機(jī)器人的圖像傳感器獲取實(shí)時(shí)采樣圖像,從中獲取實(shí)時(shí)特征集,這樣構(gòu)成一個(gè)視野反饋,引導(dǎo)機(jī)器人完成跟蹤任務(wù)。區(qū)別于圖像的簡(jiǎn)單幾何特征,本系統(tǒng)選用的視覺(jué)特征集為全局的圖像描述—圖像矩。

根據(jù)矩特征變化量與相對(duì)位姿變化量之間的關(guān)系矩陣,即圖像雅可比矩陣,然后利用推導(dǎo)的圖像雅可比矩陣,設(shè)計(jì)了視覺(jué)跟蹤控制器,完成系統(tǒng)對(duì)3D目標(biāo)物體的平動(dòng)跟蹤。

3 實(shí)驗(yàn)結(jié)果

圖5為DSP為clkout腳輸出波形,表明DSP的內(nèi)部時(shí)鐘電路工作正常。圖6的圖像傳感器輸出數(shù)據(jù)波形證明了圖像傳感器工作正常。圖7的DSP采集到的圖像數(shù)據(jù),可以確定整個(gè)圖像采集硬件電路工作正常。

 

http://www.21ic.com/d/file/201212/dc97e31e5d7fb0871828d59faa705374.jpg

 
http://www.21ic.com/d/file/201212/e6b28a07f82634d1005fa90a822d54b0.jpg

4 結(jié) 論

針對(duì)服務(wù)機(jī)器人的視覺(jué)系統(tǒng),本文通過(guò)構(gòu)建它的硬件系統(tǒng)和軟件系統(tǒng)完成了整個(gè)系統(tǒng)的設(shè)計(jì)。在硬件系統(tǒng)上,采用了CMOS圖像傳感器,CPLD時(shí)序控制,異步動(dòng)態(tài)FIFO的數(shù)據(jù)緩存,以及高速DSP處理器構(gòu)成了一個(gè)典型的圖像采集系統(tǒng),并調(diào)試輸出了圖像信號(hào)。在軟件設(shè)計(jì)上,采用了足球機(jī)器人的彩色識(shí)別和彩色分割識(shí)別技術(shù)去完成視覺(jué)系統(tǒng)快速準(zhǔn)確的識(shí)別,采用基于動(dòng)態(tài)的工作方式以及采用基于圖像的雅可比矩陣的控制原理,去實(shí)現(xiàn)自適應(yīng)補(bǔ)償跟蹤控制系統(tǒng)。

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。