《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 可編程邏輯 > 業(yè)界動(dòng)態(tài) > 基于FPGA的視頻圖像疊加系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

基于FPGA的視頻圖像疊加系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

2008-07-16
作者:王旭東,王新賽,李 堅(jiān)

??? 摘 要: 介紹一種基于FPGA的視頻疊加系統(tǒng)的硬件設(shè)計(jì)與軟件實(shí)現(xiàn),克服了市面上大多采用的用專(zhuān)用字符疊加芯片設(shè)計(jì)視頻疊加系統(tǒng)的不足,而且系統(tǒng)中疊加到視頻圖像" title="視頻圖像">視頻圖像上的瞄準(zhǔn)十字線(xiàn)可以單像素移動(dòng),并且可以根據(jù)背景灰度值的不同,實(shí)時(shí)改變自身灰度值以形成反差,更有利于觀察瞄準(zhǔn),這是以往視頻疊加系統(tǒng)做不到的。作為一種新型的視頻疊加技術(shù),它具有靈活性強(qiáng)、體積小、功耗低等特點(diǎn)。
??? 關(guān)鍵詞: FPGA? 視頻疊加? 實(shí)時(shí)? VHDL

?

??? 圖像處理技術(shù)廣泛應(yīng)用于科學(xué)研究、工農(nóng)業(yè)生產(chǎn)、軍事技術(shù)、醫(yī)療衛(wèi)生等領(lǐng)域。 在軍事領(lǐng)域中的應(yīng)用主要有:海防監(jiān)控、電視跟蹤、目標(biāo)識(shí)別、成像制導(dǎo)等。本文設(shè)計(jì)針對(duì)裝備觀瞄系統(tǒng)中的視頻信息的疊加,主要是接收上位機(jī)傳來(lái)的瞄準(zhǔn)十字線(xiàn)參數(shù)和目標(biāo)位置信息,利用FPGA實(shí)現(xiàn)在視頻圖像中疊加用于瞄準(zhǔn)的高精度可控,能實(shí)時(shí)根據(jù)背景灰度值自動(dòng)調(diào)整自身灰度值的十字線(xiàn)和目標(biāo)參數(shù)等。在以往的視頻疊加系統(tǒng)中,通常采用專(zhuān)用字符疊加芯片調(diào)用字符庫(kù)中字符以實(shí)現(xiàn)疊加,而這種方式實(shí)現(xiàn)的字符疊加不能提供字符的單像素移動(dòng)操作,只能整字模一起讀寫(xiě),整個(gè)系統(tǒng)適應(yīng)性差,顯示的十字線(xiàn)或字符精度和靈活性不夠,不能根據(jù)實(shí)時(shí)需要在圖像任意方位疊加各種精度的信息。而利用本文技術(shù)實(shí)現(xiàn)的視頻疊加,整個(gè)系統(tǒng)在單片F(xiàn)PGA中實(shí)現(xiàn),可減少系統(tǒng)的體積和功耗,而且用FPGA模擬的顯示時(shí)序可以使疊加的字符或十字線(xiàn)精度得到提高,靈活性得到增強(qiáng),滿(mǎn)足了不同的應(yīng)用要求。
1 工作原理
??? 為實(shí)現(xiàn)圖像疊加,必須先了解圖像傳送的原理。圖像是由明暗不同的部分構(gòu)成的,一幅圖像可以分解成許多個(gè)基本單元,叫“像素”。要想成功地傳送一幅圖像,必須把它所有的像素分別轉(zhuǎn)換成相應(yīng)的電信號(hào),再一一加以傳送。現(xiàn)代電視技術(shù)中,采用順序(輪流)傳送像素的方法,在發(fā)送端按照各個(gè)像素的行列位置逐個(gè)變成電信號(hào),發(fā)送到接收端" title="接收端">接收端;在接收端屏幕上,各個(gè)像素也是逐個(gè)相繼出現(xiàn)的。因此,要想在接收端的屏幕上得出正確的影像,應(yīng)該符合兩個(gè)條件:①是發(fā)送與接收兩個(gè)端的掃描時(shí)間應(yīng)該相等,即掃描頻率一致;②每一行和每一場(chǎng)開(kāi)始掃描的時(shí)刻也要一樣,即掃描的相位一致。所以,嚴(yán)格地保證接收端和發(fā)送端的掃描運(yùn)動(dòng)互相同步是非常重要的。目前在傳送視頻信號(hào)時(shí),把影像信號(hào)、消隱信號(hào)和復(fù)合同步信號(hào)" title="同步信號(hào)">同步信號(hào)三者按一定比例混合在一起,發(fā)送到接收端去控制顯像管中電子束的掃描運(yùn)動(dòng),以保證影像中各像素的位置在熒光屏上正確重顯。我國(guó)采用的電視信號(hào)是PAL制,場(chǎng)掃描頻率為50Hz,行掃描頻率為15 625Hz,它的行同步信號(hào)和場(chǎng)同步信號(hào)的基本波形如圖1所示,實(shí)際傳送的視頻信號(hào)波形如圖2所示。

?

?


??? 本系統(tǒng)中,要求對(duì)攝像頭獲得的圖像疊加上瞄準(zhǔn)十字線(xiàn)光標(biāo)和目標(biāo)位置信息,用戶(hù)可以通過(guò)串口" title="串口">串口命令控制光標(biāo)的移動(dòng)。按此要求,在圖像傳送過(guò)程中,截取從攝像頭傳出的視頻信號(hào),疊加一些圖形信號(hào),再傳送到接收端(本系統(tǒng)中為監(jiān)視器)。所謂疊加,實(shí)質(zhì)上是在像素級(jí)為每個(gè)像素點(diǎn)選擇電信號(hào)。這其中有兩個(gè)問(wèn)題:一是精確定位像素點(diǎn),即確定它的行、列位置;二是定位之后,控制電信號(hào)的輸出,即選擇在監(jiān)視器上的某一像素點(diǎn)為顯示現(xiàn)場(chǎng)圖像像素的電信號(hào),還是疊加圖形的像素電信號(hào)。本系統(tǒng)解決這兩問(wèn)題的辦法是:采集視頻圖像時(shí),根據(jù)視頻圖像的復(fù)合同步信息實(shí)時(shí)將圖像的灰度值按順序采集到一雙口" title="雙口">雙口RAM中,供顯示時(shí)讀取,而顯示的“復(fù)合同步信號(hào)”是采用VHDL在FPGA中模擬出來(lái)的,這樣可以直接得到行同步信號(hào)及場(chǎng)同步信號(hào),以控制行/場(chǎng)計(jì)數(shù)器準(zhǔn)確計(jì)數(shù)及定位像素點(diǎn),從而可以在視頻圖像的任意位置疊加字符圖像。另外,還可以在顯示圖像之前讀取雙口RAM中的視頻灰度值以實(shí)現(xiàn)圖像處理的各種算法。
2 硬件設(shè)計(jì)
??? 系統(tǒng)的核心控制在FPGA芯片中,選用ALTERA公司的Stratix EP1S10F672I7芯片,配置方式采用PS并行配置模式。配置存儲(chǔ)器選用ALTERA的EPC8Q100,它擁有8個(gè)存儲(chǔ)分區(qū),合計(jì)8Mbit的存儲(chǔ)空間,通過(guò)撥碼開(kāi)關(guān)選擇不同的上電程序。可以根據(jù)用戶(hù)需要選擇不同的系統(tǒng)程序。對(duì)配置芯片的下載和在線(xiàn)調(diào)試采用JTAG口模式。視頻信號(hào)通過(guò)采集芯片SAA7113采集并解碼成標(biāo)準(zhǔn)的“VPO”數(shù)字信號(hào)存儲(chǔ)在FPGA內(nèi)嵌的雙口RAM中,視頻合成的全部過(guò)程在FPGA中實(shí)現(xiàn),最后通過(guò)顯示芯片ADV7123 顯示到監(jiān)視器。RS485用來(lái)傳輸從上位機(jī)過(guò)來(lái)的目標(biāo)位置信息和十字線(xiàn)調(diào)整命令。整個(gè)硬件電路實(shí)際上是一個(gè)圖像處理平臺(tái),實(shí)現(xiàn)視頻合成只用到系統(tǒng)資源的21%,其余資源可用來(lái)實(shí)現(xiàn)圖像處理的多種算法。系統(tǒng)結(jié)構(gòu)框圖如圖3所示。

?


3 軟件實(shí)現(xiàn)
??? 系統(tǒng)硬件相對(duì)比較簡(jiǎn)單,大量工作需要用硬件描述語(yǔ)言(VHDL)在集成芯片F(xiàn)PGA中完成。軟件采用模塊化設(shè)計(jì)方法,對(duì)各模塊進(jìn)行增量編譯,通過(guò)在FPGA物理位置進(jìn)行區(qū)域性約束來(lái)完成整個(gè)系統(tǒng)軟件設(shè)計(jì),繼承每一個(gè)模塊編譯的成果,使模塊與模塊之間有一定的物理隔離帶,減少了各模塊之間的信號(hào)干擾,保證每個(gè)模塊的時(shí)序要求,并且軟件流程清晰、可讀性強(qiáng),便于修改和升級(jí)??傮w流程如圖4所示。

?


3.1 圖像采集模塊
??? 本模塊主要作用是采集從芯片SAA7113過(guò)來(lái)的數(shù)字視頻信號(hào)、行場(chǎng)同步信號(hào),及SAA7113內(nèi)部鎖相環(huán)(LLC)向外界提供的27MHz系統(tǒng)時(shí)鐘信號(hào)。根據(jù)復(fù)合同步信息將視頻圖像灰度值存入FPGA內(nèi)嵌的雙口RAM中,供圖像算法實(shí)現(xiàn)模塊調(diào)用。FPGA內(nèi)部的存儲(chǔ)空間可以配置為各種存儲(chǔ)器,本系統(tǒng)將其配置為雙口RAM,用于存儲(chǔ)視頻圖像灰度值。
3.2 圖像算法實(shí)現(xiàn)模塊
??? 本系統(tǒng)涉及到的圖像處理算法是為了使疊加到視頻圖像上的瞄準(zhǔn)十字線(xiàn)能夠根據(jù)視頻圖像背景灰度值的變化而自動(dòng)調(diào)整自身灰度以便于觀察。模塊采用領(lǐng)域處理的方法以模板運(yùn)算的形式實(shí)現(xiàn)。模板運(yùn)算的思想是將賦予某個(gè)像素的灰度值作為它本身灰度值和相鄰像素灰度值的函數(shù)??紤]圖5(a)所示十字線(xiàn)中心的子圖區(qū)域,并用以準(zhǔn)心z5為中心的3×3區(qū)域中像素值的模板運(yùn)算值來(lái)代替z5的值。
??? 利用圖5(b)的模板,將模板中心放在z5之上,用模板上對(duì)應(yīng)的系數(shù)與模板下的像素相乘并累加結(jié)果:

???

??? 令wi=1/9,i=1,2,…,9,將運(yùn)算結(jié)果與灰度值150比較,大于150則給出一信號(hào),令d等于1,否則將d置0。十字線(xiàn)的灰度值則根據(jù)d的值而調(diào)整。

?


??? 式(1)在圖像處理中得到廣泛應(yīng)用,恰當(dāng)?shù)剡x擇系數(shù)并在圖像的各個(gè)像素位置運(yùn)用模板可以得到一系列有用的運(yùn)算,如噪聲消除、細(xì)化區(qū)域和邊緣提取等。本系統(tǒng)中主要用來(lái)消除噪聲的干擾。
3.3 顯示合成模塊
??? 利用VHDL實(shí)現(xiàn)的PAL制式顯示合成模塊,主要由串口數(shù)據(jù)分配器、可移動(dòng)的十字線(xiàn)生成器、字符生成器和字符ROM、視頻信號(hào)合成器組成。其結(jié)構(gòu)框圖如圖6所示。

?


??? 串口數(shù)據(jù)分配器把從字符疊加FIFO中讀取的十字線(xiàn)參數(shù)及目標(biāo)信息分解并傳給可移動(dòng)的十字線(xiàn)生成器和字符生成器。
??? 可移動(dòng)的十字線(xiàn)生成器利用PAL制式復(fù)合同步信號(hào)發(fā)生器中模擬出來(lái)的行場(chǎng)信號(hào)和像素時(shí)鐘來(lái)同步,按照從串口數(shù)據(jù)分配器中傳來(lái)的十字線(xiàn)位置信息,定位相應(yīng)圖像的行和列,并產(chǎn)生灰度級(jí)10位的圖像數(shù)據(jù),通過(guò)視頻信號(hào)合成器合成到視頻圖像中。
??? 字符生成器和字符ROM,其原理和十字線(xiàn)生成器很相似,同樣是由PAL制式復(fù)合同步信號(hào)發(fā)生器中模擬出來(lái)的行場(chǎng)信號(hào)和像素時(shí)鐘驅(qū)動(dòng)。與十字線(xiàn)生成器不同的是:字符生成器是按照從串口數(shù)據(jù)分配器中讀出的目標(biāo)信息,然后生成相應(yīng)的字符ROM地址并查找相應(yīng)字符送入視頻信號(hào)合成器合成顯示。字符ROM和FIFO一樣用Stratix系列中自帶的TriMatrix存儲(chǔ)器實(shí)現(xiàn),另外在系統(tǒng)編譯前要做一個(gè)字符MIF文件固化到ROM中去。
??? 視頻信號(hào)合成器是把從字符生成器中生成的字符、可移動(dòng)的十字線(xiàn)生成器生成的十字線(xiàn)和從雙口RAM讀取的圖像數(shù)據(jù)異或,最后生成PAL制式電視信號(hào),完成視頻信號(hào)的疊加。
??? 系統(tǒng)級(jí)的FPGA設(shè)計(jì)以其可靠性、先進(jìn)性、高效性、體積小的特點(diǎn),正逐步成為設(shè)計(jì)者的首選。隨著對(duì)視頻疊加要求的提高,很多領(lǐng)域要求在視頻圖像上疊加各種復(fù)雜的圖形并且要求精度高和可控性好。以往的單片機(jī)控制的視頻疊加系統(tǒng)已逐漸不能滿(mǎn)足需求,而基于FPGA設(shè)計(jì)的圖像疊加系統(tǒng)可以高效地完成任務(wù)。目前基于FPGA的視頻疊加系統(tǒng)已在某裝備觀瞄設(shè)備上成功使用,效果很好。
參考文獻(xiàn)
[1] 宋傳明,陳寧,陳文薌.車(chē)載視頻系統(tǒng)中字符疊加技術(shù)的應(yīng)用.廈門(mén)大學(xué)學(xué)報(bào)(自然科學(xué)版),2005.
[2] McGraw.hill.VHDL Programming by Example.2004.
[3] 吳繼華.Altera FPGA/CPLD設(shè)計(jì)(高級(jí)篇).北京:人民郵電出版社,2005.
[4] 任愛(ài)鋒.基于FPGA的嵌入式系統(tǒng)設(shè)計(jì).西安:西安電子科技大學(xué)出版社,2005.

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話(huà)通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話(huà):010-82306118;郵箱:aet@chinaaet.com。