《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 可編程邏輯 > 設(shè)計(jì)應(yīng)用 > 遠(yuǎn)程數(shù)字圖像監(jiān)控系統(tǒng)的FPGA實(shí)現(xiàn)
遠(yuǎn)程數(shù)字圖像監(jiān)控系統(tǒng)的FPGA實(shí)現(xiàn)
來(lái)源:電子技術(shù)應(yīng)用2013年第6期
馬玲玲, 劉云飛, 顧敏明, 周 陽(yáng)
南京林業(yè)大學(xué) 信息科學(xué)技術(shù)學(xué)院, 江蘇 南京210037
摘要: 以現(xiàn)場(chǎng)可編程門陣列(FPGA)為中央處理器,融合CMOS圖像傳感器技術(shù)、無(wú)線網(wǎng)絡(luò)傳輸技術(shù)和彩色圖像處理技術(shù)等,設(shè)計(jì)一套集圖像采集、預(yù)處理、壓縮和傳輸為一體的遠(yuǎn)程圖像監(jiān)控系統(tǒng)。借助硬件可編程邏輯語(yǔ)言現(xiàn)場(chǎng)配置D5M數(shù)碼相機(jī)開發(fā)套件,及基于串口的GPRS數(shù)據(jù)傳輸模塊,并對(duì)彩色數(shù)字圖像進(jìn)行小波壓縮處理,最終完成對(duì)現(xiàn)場(chǎng)圖像的遠(yuǎn)程監(jiān)控。
關(guān)鍵詞: FPGA D5M 彩色圖像 小波壓縮 GPRS
中圖分類號(hào): TP277
文獻(xiàn)標(biāo)識(shí)碼: A
文章編號(hào): 0258-7998(2013)06-0070-04
FPGA implementation of a remote digital image monitoring system
Ma Lingling, Liu Yunfei, Gu Minming, Zhou Yang
College of Information Science and Technology, Nanjing Forestry University, Nanjing 210037, China
Abstract: By combing the CMOS image sensor technology, wireless transmission technology and color image processing technology, a remote image monitoring system in which the Field Programmable Gate Array(FPGA) is used as the CPU is designed with the functions of image acquisition, pretreatment compression and transmission. Using verilog hardware description language to configure the digital camera development kit D5M and GPRS data transmission module based on serial port, the color image wavelet compression is realized and the image remote monitoring system is eventually complete.
Key words : FPGA; D5M; color images; wavelet compression; GPRS

    目前,傳統(tǒng)的遠(yuǎn)程圖像監(jiān)控系統(tǒng)存在兩方面的缺陷:(1)傳統(tǒng)的監(jiān)控系統(tǒng)約60%采用模擬監(jiān)控技術(shù),雖配置簡(jiǎn)單,但存在信息量大、信號(hào)隨距離衰減、圖像壓縮后期處理困難及無(wú)法聯(lián)網(wǎng)等缺點(diǎn),已不能滿足于遠(yuǎn)程實(shí)時(shí)監(jiān)控系統(tǒng)的需要。 (2)一般采用專門的光纜或者電纜進(jìn)行有線傳輸,對(duì)地形、線路要求嚴(yán)格,且投入成本高,維護(hù)困難,不易于多監(jiān)測(cè)點(diǎn)、大范圍的監(jiān)控。隨著數(shù)字圖像處理技術(shù)、大規(guī)模和超大規(guī)模集成電路技術(shù)以及無(wú)線網(wǎng)絡(luò)通信技術(shù)的迅速發(fā)展,無(wú)線數(shù)字圖像監(jiān)控系統(tǒng)已逐漸得到各行業(yè)的青睞,具有廣泛的應(yīng)用前景[1-2]。

    本設(shè)計(jì)以 FPGA為中央處理器,研制了一種基于FPGA的遠(yuǎn)程圖像監(jiān)控系統(tǒng)。系統(tǒng)以FPGA為上位機(jī),采用硬件可編程邏輯語(yǔ)言控制CMOS傳感器MT9P001(Micron 公司),采集監(jiān)控現(xiàn)場(chǎng)的彩色圖像,分R、G、B三色獨(dú)立存儲(chǔ)在片外擴(kuò)展RAM中。利用提升小波變換對(duì)R、G、B三色分量分別進(jìn)行壓縮,且小波壓縮功能單獨(dú)形成模塊,集成于FPGA內(nèi)部。系統(tǒng)選擇Cinterion公司工業(yè)級(jí)模塊MC52i及可靠性強(qiáng)的TCP/IP協(xié)議,借助固化于FPGA芯片的UART(通用異步收發(fā)器)模塊,無(wú)線傳輸壓縮后的彩色圖像。
1 系統(tǒng)框架
    系統(tǒng)框架如圖1所示。FPGA器件采用Altera公司的Cyclone II系列EP2C35F672芯片作為系統(tǒng)的控制核心。攝像模塊選用Terasic公司的D5M數(shù)碼相機(jī)開發(fā)套件。Cinterion公司的工業(yè)級(jí)模塊MC52i作為無(wú)線數(shù)據(jù)傳輸模塊。另擴(kuò)展了三片RAM作為圖像R、G、B三色分量的存儲(chǔ)器件。圖像采集模塊、小波壓縮模塊、數(shù)據(jù)傳輸模塊及UART模塊均集成于核心器件FPGA內(nèi)部。 

2 圖像采集模塊設(shè)計(jì)
2.1 采集芯片特點(diǎn)

    D5M采用CMOS傳感器MT9P001,提供40引腳與FPGA芯片相連接。模塊內(nèi)部集成了I2C串行接口,通過(guò)此串口即可對(duì)模塊內(nèi)部各寄存器進(jìn)行配置。CMOS傳感器以Bayer格式輸出像素點(diǎn),包括Green1、Green2、Red和Blue四種顏色。該模塊支持分辨率可調(diào),允許2 592×1 944、1 280×1 024、800×600、640×480等多種分辨率。
2.2采集模塊控制
    采集模塊控制主要分為兩部分:CMOS傳感器參數(shù)設(shè)置、圖像模式轉(zhuǎn)換。
    (1)CMOS傳感器參數(shù)設(shè)置:采用Verilog HDL語(yǔ)言實(shí)現(xiàn)I2C串口模塊,通過(guò)I2C串行總線對(duì)CMOS傳感器的各寄存器進(jìn)行配置。選擇圖片的分辨率為320×240。令binning與skipping采樣模式聯(lián)合工作,行采樣模式寄存器R0x22、 列采樣模式寄存器R0x23均設(shè)置為0x0033,同時(shí)行尺寸寄存器R0x03設(shè)置為0x077f,列尺寸寄存器R0x04設(shè)置為0x09ff,得到CMOS傳感器提供的最小分辨率為640×480的圖像,后經(jīng)間隔抽樣即得到分辨率為320×240的圖像。
    (2)圖像模式轉(zhuǎn)換: Bayer格式中一像素點(diǎn)對(duì)應(yīng)四種顏色Green1、Green2、Red和Blue,四維空間對(duì)數(shù)據(jù)的存儲(chǔ)及處理的精確度都帶來(lái)不便。設(shè)計(jì)提出將彩色圖像Bayer格式轉(zhuǎn)為RGB格式,將R、G、B三色分量作為獨(dú)立的三個(gè)灰度圖像進(jìn)行存儲(chǔ)、處理。通過(guò)幀有效、行有效及像素時(shí)鐘3個(gè)同步信號(hào),正確抓取Bayer格式原始圖像數(shù)據(jù)流。利用行緩沖+流水線的方式,將原始圖像數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)換為RGB格式數(shù)據(jù),并獨(dú)立存儲(chǔ)于片外擴(kuò)展的3片RAM。
3 小波壓縮模塊設(shè)計(jì)
3.1小波壓縮的算法

      提升小波變換,亦稱為第二代小波變換,不僅具有傳統(tǒng)小波變換多分辨率的優(yōu)點(diǎn),還實(shí)現(xiàn)了從整數(shù)到整數(shù)的變換,滿足了無(wú)損壓縮的要求,且簡(jiǎn)化了運(yùn)算,易于硬件的快速實(shí)現(xiàn)。提升小波變換分為分裂、預(yù)測(cè)和更新三個(gè)步驟[3-4]。分裂,即將數(shù)據(jù)分裂成偶數(shù)樣本和奇數(shù)樣本;預(yù)測(cè),則利用偶數(shù)樣本預(yù)測(cè)奇數(shù)樣本,取奇數(shù)樣本與預(yù)測(cè)值之差代替奇數(shù)樣本,獲得高頻信息;更新,須構(gòu)造一個(gè)算子,作用于高頻信號(hào)并疊加到偶數(shù)樣本上,得到低頻信息。
    考慮到圖像是有限長(zhǎng)度的數(shù)據(jù)流,在小波變換時(shí)需要對(duì)原始數(shù)據(jù)做邊界處理。系統(tǒng)采用周期對(duì)稱延拓結(jié)構(gòu)代替?zhèn)鹘y(tǒng)的邊界補(bǔ)零結(jié)構(gòu)對(duì)邊界進(jìn)行處理,避免邊界補(bǔ)零結(jié)構(gòu)帶來(lái)多余小波系數(shù)的缺點(diǎn)。設(shè)數(shù)據(jù)的范圍是0~N,5/3提升小波變換的整數(shù)變換形式如式(1)[5]:    

3.2 小波壓縮的實(shí)現(xiàn)
    壓縮由分裂、預(yù)測(cè)和更新三個(gè)步驟組成。系統(tǒng)以頻率F從RAM輸出數(shù)據(jù),以頻率F/2采樣數(shù)據(jù),即分裂為奇數(shù)序列與偶數(shù)序列,其中奇、偶序列的采樣時(shí)鐘上升沿間隔一時(shí)鐘周期1/F。預(yù)測(cè)、更新和邊界的處理應(yīng)用DSP Builder[6]中的Pipelined Adder(流水線加法器)、Barrel Shifter(桶型移位器)、Delay(延時(shí)器)、Multiplexer(復(fù)用器)、Single Pulse(單脈沖發(fā)生器)等模塊實(shí)現(xiàn)式(1),其中Multiplexer和Single Pulse特別用于邊界處理。應(yīng)用Modelsim進(jìn)行功能仿真,Quartus II進(jìn)行硬件設(shè)計(jì)驗(yàn)證[7]。
     壓縮自成模塊,R、G、B三色分量獨(dú)立壓縮,則重復(fù)調(diào)用壓縮模塊即可實(shí)現(xiàn)多重壓縮。
4 無(wú)線通信模塊設(shè)計(jì)
    GPRS(通用無(wú)線分組業(yè)務(wù))是介于2G(第2代移動(dòng)通信技術(shù))和3G(第3代移動(dòng)通信技術(shù))之間的一種使用最為廣泛的通信技術(shù)。GPRS無(wú)線通信系統(tǒng)主要由三大部分組成:移動(dòng)臺(tái)、GPRS通信網(wǎng)和監(jiān)控終端[8]。本系統(tǒng)移動(dòng)臺(tái)由GPRS模塊和FPGA控制芯片組成;GPRS通信網(wǎng)包括BSC(基站控制器)、BTS(基站子系統(tǒng))、SGSN(服務(wù)支持節(jié)點(diǎn))、骨干網(wǎng)、GGSN(網(wǎng)關(guān)支持節(jié)點(diǎn))等。
4.1 傳輸芯片特點(diǎn)
    MC52i是Cinterion公司(原西門子)的一款內(nèi)部自帶有TCP/IP協(xié)議棧的工業(yè)級(jí)模塊。模塊提供UART作為數(shù)據(jù)接口,支持的串口波特率范圍為300~230 400 b/s。通過(guò)FPGA內(nèi)部編程實(shí)現(xiàn)UART模塊,即可完成FPGA與MC52i之間AT指令和數(shù)據(jù)的雙向傳輸。本系統(tǒng)使用的主要AT指令集設(shè)置如表1所示。MC52i可在-40℃~+80℃的環(huán)境下正常工作,具有功耗低、可靠性高、性價(jià)比高的特點(diǎn),目前廣泛運(yùn)用于智能公交、無(wú)線數(shù)傳、遠(yuǎn)程無(wú)線抄表等系統(tǒng)中。支持電壓范圍3.3 V~4.8 V。

4.2 通信模塊控制
4.2.1 UART內(nèi)核實(shí)現(xiàn)

    UART內(nèi)核由三部分組成:波特率發(fā)生器、數(shù)據(jù)發(fā)送模塊和數(shù)據(jù)接收模塊。波特率發(fā)生器采用直接數(shù)字頻率合成法實(shí)現(xiàn)高精度任意分頻,其算式如式(2)所示[9]。其中fo為輸出頻率;fc為輸入時(shí)鐘頻率;K為頻率控制字;N代表累加器。只要改變頻率控制字K的取值,即可得到不同的輸出頻率。FPGA為數(shù)據(jù)發(fā)送模塊的主控,根據(jù)固定波特率,用一個(gè)狀態(tài)機(jī)10個(gè)狀態(tài)依次發(fā)送串口數(shù)據(jù)的起始位、8位數(shù)據(jù)位和停止位即可[10]。在數(shù)據(jù)接收端,仍采用FPGA控制,采樣頻率取為波特率的16倍。

4.2.2 傳輸控制實(shí)現(xiàn)
     九條主要AT指令由FPGA通過(guò)UART模塊以固定波特率發(fā)送至MC52i,進(jìn)行GPRS聯(lián)網(wǎng)配置。通信協(xié)議采用TCP協(xié)議,實(shí)現(xiàn)與遠(yuǎn)程監(jiān)控終端的連接。如服務(wù)器也通過(guò)UART返回指令^SISW:1,1到FPGA,則連接成功建立。連接成功后,即可進(jìn)行數(shù)據(jù)傳輸,發(fā)送請(qǐng)求傳輸數(shù)據(jù)指令A(yù)T^SISW=1,n,n取1~1 500 B。FPGA收到服務(wù)器返回指令^SISW:1,n,0,則允許FPGA繼續(xù)傳輸數(shù)據(jù),否則需重新發(fā)送請(qǐng)求。MC52i最多一次可傳輸1 500 B,圖像數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超過(guò)范圍,則需分多次傳輸,每次傳輸都需發(fā)送請(qǐng)求傳輸數(shù)據(jù)指令,確定傳輸數(shù)據(jù)長(zhǎng)度。具體GPRS傳輸網(wǎng)絡(luò)流程圖如圖2所示。

5 系統(tǒng)驗(yàn)證
    主程序框架如圖3所示,主分為D5M采集、小波壓縮及MC52i無(wú)線傳輸三部分。小波壓縮模塊采用DSP Builder連接QuartusII9.1和Simulink,實(shí)現(xiàn)模塊的編譯、綜合和仿真。系統(tǒng)經(jīng)Cyclone II系列EP2C35F672芯片進(jìn)行適配。

 

 

    FPGA控制D5M CMOS傳感器MT9P001實(shí)時(shí)抓取植物(右下葉片發(fā)黃)的彩色圖像,轉(zhuǎn)為R、G、B三色分量,并獨(dú)立存儲(chǔ)。每一圖像大小均為320×240,可合成為彩色圖像,如圖4所示。三色分量圖像經(jīng)獨(dú)立壓縮后經(jīng)MC52i傳輸?shù)浇K端。此時(shí)圖像大小均為160×120,合成后的彩色圖像如圖5所示。該圖像保留了植物的特征,如植物泛黃的部分依然存在,可用作植物健康狀況判別的依據(jù)。測(cè)試表明本系統(tǒng)實(shí)現(xiàn)了對(duì)CMOS彩色圖像的采集、預(yù)處理、存儲(chǔ)、壓縮及無(wú)線傳輸?shù)裙δ?,在接收端較好地保存了圖像的細(xì)節(jié)特征,其右下葉片發(fā)黃處仍清晰可見(jiàn)。本系統(tǒng)可為環(huán)境監(jiān)測(cè)、遠(yuǎn)程醫(yī)療診斷等領(lǐng)域提供實(shí)時(shí)圖像分析與處理。

    本系統(tǒng)以FPGA為核心器件,在FPGA上實(shí)現(xiàn)圖像采集、存儲(chǔ)、處理及傳輸?shù)雀鞴δ埽瑴p少了硬件的投入,且具有開發(fā)周期短、集成度高、靈活性好等優(yōu)點(diǎn)。系統(tǒng)采用GPRS實(shí)現(xiàn)數(shù)字圖像傳輸,避免了傳統(tǒng)遠(yuǎn)程監(jiān)控系統(tǒng)的兩大缺陷,實(shí)現(xiàn)了監(jiān)控系統(tǒng)的全數(shù)字化及無(wú)線傳輸功能。應(yīng)用改進(jìn)的5/3提升小波變換作為壓縮算法,避免了邊界補(bǔ)零結(jié)構(gòu)帶來(lái)多余小波系數(shù)的不足,提高了壓縮圖片的質(zhì)量。擴(kuò)展片外存儲(chǔ)器存儲(chǔ)大量圖像數(shù)據(jù),減少片上資源消耗,提高了運(yùn)行速度。采集、壓縮、存儲(chǔ)、傳輸各成模塊,且彩色圖像分三色獨(dú)立地存儲(chǔ)及處理,有利于系統(tǒng)的調(diào)試、移植。
參考文獻(xiàn)
[1] 李明.基于無(wú)線通信鏈路的圖像壓縮傳輸系統(tǒng)的設(shè)計(jì)探索[J].實(shí)驗(yàn)室科學(xué),2010,13(2):50-52.
[2] 畢厚杰. 新一代視頻壓縮編碼標(biāo)準(zhǔn)[M].北京:人民郵電出版社,2005.
[3] 盧春暉,王英健,陳麗. 提升小波算法的FPGA硬件實(shí)現(xiàn)[J].微處理機(jī),2010,33(2):39-41.
[4] 崔巍,汶德勝,馬濤. 二維提升小波變換的FPGA結(jié)構(gòu)設(shè)計(jì)[J].計(jì)算機(jī)工程,2007,33(15):61-263.
[5] 馬玲玲,劉云飛,印輝云,等. 實(shí)時(shí)圖像小波無(wú)損壓縮系統(tǒng)的FPGA實(shí)現(xiàn)[J].河南科技大學(xué)學(xué)報(bào),2012,33(3):20-24.
[6] 張志亮,趙剛,齊星剛.從Simulink模型自動(dòng)生成VHDL代碼——基于DSP Builder的FPGA設(shè)計(jì)流程[J].現(xiàn)代電子技術(shù),2007,23(4):4-6.
[7] 袁博,宋萬(wàn)杰,吳順君. 基于FPGA的Matlab與Quartus聯(lián)合設(shè)計(jì)技術(shù)研究[J].電子工程師,2007,33(1):6-8.
[8] 王祖林, 汪文婷. GPRS傳輸靜態(tài)圖像系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用,2006,32(4):37-40.
[9] 徐云,遲忠君,張凱,等. 基于DDFS技術(shù)的雙通道任意波形信號(hào)發(fā)生器[J].儀器儀表學(xué)報(bào),2006,27(5):515-519.
[10] 王敬美,楊春玲. 基于FPGA和UART的數(shù)據(jù)采集器設(shè)計(jì)[J]. 電子器件,2009,32(2):386-393.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。