《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 可編程邏輯 > 設(shè)計(jì)應(yīng)用 > 基于FPGA的實(shí)時(shí)無(wú)損數(shù)據(jù)壓縮系統(tǒng)設(shè)計(jì)
基于FPGA的實(shí)時(shí)無(wú)損數(shù)據(jù)壓縮系統(tǒng)設(shè)計(jì)
摘要: 在工業(yè)生產(chǎn)和科研中,通常要對(duì)信號(hào)進(jìn)行長(zhǎng)時(shí)間高速采樣,會(huì)產(chǎn)生大量采樣數(shù)據(jù)。在一些特殊環(huán)境下,受體積和功耗的限制,不能添加過(guò)多存儲(chǔ)器,需要引入數(shù)據(jù)壓縮技術(shù)來(lái)解決。軟件壓縮算法的運(yùn)算量較大,需要很高的CPU運(yùn)算速度和數(shù)據(jù)緩存空間,所以軟件壓縮一般應(yīng)用在對(duì)時(shí)間要求不高的非實(shí)時(shí)壓縮場(chǎng)合。而對(duì)運(yùn)行速度有特殊要求的情況下,對(duì)數(shù)據(jù)的實(shí)時(shí)壓縮一般都要用硬件實(shí)現(xiàn)。有損壓縮之后數(shù)據(jù)進(jìn)行重構(gòu),與原來(lái)的數(shù)據(jù)有所不同。多數(shù)數(shù)據(jù)采集系統(tǒng)因被測(cè)對(duì)象的不確定性,需要采用無(wú)損數(shù)據(jù)壓縮。由于LZW無(wú)損壓縮算法具有自適應(yīng)特性,在對(duì)信號(hào)統(tǒng)計(jì)特性不明確的情況下仍然有較好的壓縮效果。結(jié)合FPGA的高集成度、低功耗、靈活性及并行運(yùn)算的特性,該設(shè)計(jì)用FPGA硬件實(shí)現(xiàn)LZW算法,以提高系統(tǒng)的實(shí)時(shí)壓縮能力。
Abstract:
Key words :
  引言

  在工業(yè)生產(chǎn)和科研中,通常要對(duì)信號(hào)進(jìn)行長(zhǎng)時(shí)間高速采樣,會(huì)產(chǎn)生大量采樣數(shù)據(jù)。在一些特殊環(huán)境下,受體積和功耗的限制,不能添加過(guò)多存儲(chǔ)器,需要引入數(shù)據(jù)壓縮技術(shù)來(lái)解決。軟件壓縮算法的運(yùn)算量較大,需要很高的CPU運(yùn)算速度和數(shù)據(jù)緩存空間,所以軟件壓縮一般應(yīng)用在對(duì)時(shí)間要求不高的非實(shí)時(shí)壓縮場(chǎng)合。而對(duì)運(yùn)行速度有特殊要求的情況下,對(duì)數(shù)據(jù)的實(shí)時(shí)壓縮一般都要用硬件實(shí)現(xiàn)。有損壓縮之后數(shù)據(jù)進(jìn)行重構(gòu),與原來(lái)的數(shù)據(jù)有所不同。多數(shù)數(shù)據(jù)采集系統(tǒng)因被測(cè)對(duì)象的不確定性,需要采用無(wú)損數(shù)據(jù)壓縮。由于LZW無(wú)損壓縮算法具有自適應(yīng)特性,在對(duì)信號(hào)統(tǒng)計(jì)特性不明確的情況下仍然有較好的壓縮效果。結(jié)合FPGA的高集成度、低功耗、靈活性及并行運(yùn)算的特性,該設(shè)計(jì)用FPGA硬件實(shí)現(xiàn)LZW算法,以提高系統(tǒng)的實(shí)時(shí)壓縮能力。

  1 LZW算法簡(jiǎn)介

  LZW算法是一種基于字典的壓縮算法,由Lemple、Ziv、Welch三人共同創(chuàng)造。該算法在數(shù)據(jù)的壓縮過(guò)程中會(huì)根據(jù)輸入的數(shù)據(jù)動(dòng)態(tài)地建立一個(gè)字典,后續(xù)輸入的數(shù)據(jù)都會(huì)在這個(gè)字典中匹配查找,根據(jù)查找是否成功決定壓縮編碼的輸出。該算法的巧妙之處在于,壓縮過(guò)程中動(dòng)態(tài)建立的字典不需要與壓縮數(shù)據(jù)流一道進(jìn)行傳輸和存儲(chǔ)。在對(duì)數(shù)據(jù)進(jìn)行解壓時(shí),也能夠通過(guò)壓縮數(shù)據(jù)流重新建立一個(gè)字典,來(lái)完成解壓縮。算法粗略的描述如下:

a.JPG

f.jpg

  算法首先進(jìn)行字典的初始化。然后輸入第一個(gè)字符數(shù)據(jù)賦給變量String(S)。數(shù)據(jù)逐個(gè)輸入壓縮器中,并賦給變量Character(C)。s和C生成一個(gè)索引,與字典中的詞條數(shù)據(jù)進(jìn)行匹配:如果匹配成功,將S和C的編碼值賦給S,繼續(xù)進(jìn)行下一輪的匹配;如果匹配失敗,則將S輸出,將S和C的編碼值存入字典,并且將C的值賦給S,這一過(guò)程一直進(jìn)行直到結(jié)束。最后輸出S,輸出結(jié)束標(biāo)志。

  由算法描述可見(jiàn),LZW算法過(guò)程并不是很復(fù)雜,能夠得到較快的壓縮速度。并且其在對(duì)數(shù)據(jù)特征并不了解情況下,也能有較好的壓縮效果。同時(shí),其對(duì)應(yīng)的解壓縮算法也不復(fù)雜,解壓速度也優(yōu)于其他一些算法。

  2 LZW算法的FPGA實(shí)現(xiàn)

  CycloneII是Altera公司推出的新一代低成本系列FPGA器件,選用CycloneII系列的EP2C5T14418芯片來(lái)實(shí)現(xiàn)數(shù)據(jù)壓縮。這款芯片有4 608個(gè)邏輯單元、26塊M4K RAM塊、13個(gè)嵌入式乘法器、2個(gè)鎖相環(huán),用戶I/O引腳數(shù)目為89,完全能夠滿足設(shè)計(jì)對(duì)存儲(chǔ)器容量以及邏輯功能的要求,并且有一定余量,便于功能擴(kuò)展。設(shè)計(jì)采用Quartus II為FPGA器件軟件開(kāi)發(fā)平臺(tái),用VHDL+原理圖的混合輸入方式進(jìn)行層次化描述。系統(tǒng)的整體框圖如圖1所示。采集到的數(shù)據(jù)經(jīng)過(guò)壓縮后存儲(chǔ)到外部存儲(chǔ)器,再讀入計(jì)算機(jī),用專用軟件對(duì)壓縮數(shù)據(jù)進(jìn)行解壓還原,對(duì)原始數(shù)據(jù)進(jìn)一步分析處理。

b.JPG

  整個(gè)設(shè)計(jì)的核心是壓縮算法的實(shí)現(xiàn)。FPGA設(shè)計(jì)過(guò)程中模塊劃分非常重要,好的模塊劃分能夠大大減少邏輯所消耗的面積并優(yōu)化功能的時(shí)序關(guān)鍵路徑。具體到LZW算法的FPGA實(shí)現(xiàn),劃分了10個(gè)大模塊,各個(gè)模塊相互之間的連接如圖2所示。圖中名字相同的箭頭,表示是連接在一起的。為了使框圖看起來(lái)比較清晰,圖中省略了一些控制信號(hào)的連接。狀態(tài)機(jī)控制模塊(M5)是整個(gè)壓縮模塊的時(shí)序控制中心,根據(jù)其他模塊反饋給它的信號(hào),判斷壓縮的運(yùn)行狀態(tài),從而控制其他各個(gè)模塊的運(yùn)行。

c.JPG

  用FPGA實(shí)現(xiàn)LZW算法要解決以下幾個(gè)問(wèn)題:

 ?、賶嚎s過(guò)程中字典的緩存問(wèn)題。因?yàn)樗袛?shù)據(jù)處理和傳輸工作都是由FPGA完成,且考慮到實(shí)時(shí)壓縮速度,字典的緩存使用FPGA內(nèi)部的RAM資源。

  ②字典的建立與更新問(wèn)題。字典的建立使用FPGA片內(nèi)資源來(lái)完成,大容量字典雖然會(huì)提高壓縮比,但必須考慮到FPGA內(nèi)部的資源量。因此選用9位的定長(zhǎng)編碼方式對(duì)數(shù)據(jù)進(jìn)行處理。

 ?、蹓嚎s后輸出數(shù)據(jù)流傳輸和存儲(chǔ)問(wèn)題。由于壓縮后是9位的數(shù)據(jù)流,不利于數(shù)據(jù)的存儲(chǔ),因此將9位的數(shù)據(jù)轉(zhuǎn)換成8位的數(shù)據(jù)流進(jìn)行傳輸和存儲(chǔ)。

  3 系統(tǒng)測(cè)試及性能分析

  首先測(cè)試LZW算法模塊能否正確無(wú)誤地壓縮數(shù)據(jù)。先由上位機(jī)發(fā)送數(shù)據(jù)給FPGA,F(xiàn)PGA壓縮數(shù)據(jù)并寫(xiě)入SRAM存儲(chǔ)器。壓縮結(jié)束后,上位機(jī)讀取SRAM中的數(shù)據(jù)并存為一個(gè)文件,最后再將這個(gè)文件與用軟件壓縮的結(jié)果作比較,來(lái)判斷結(jié)果正確與否。圖3是壓縮原文件和解壓后文件以十六進(jìn)制形式對(duì)比后的結(jié)果,從圖中下方框中的信息可知,兩個(gè)文件的大小都是248 714字節(jié),0字節(jié)差異,完全匹配。為了提高測(cè)試的全面性,避免出現(xiàn)因?yàn)榕既欢斐傻膫€(gè)別功能死角沒(méi)被測(cè)到,利用格式各異的數(shù)據(jù)文件進(jìn)行了大量的壓縮結(jié)果對(duì)比實(shí)驗(yàn),最終實(shí)驗(yàn)結(jié)果表明軟硬件壓縮的結(jié)果是一致的,并且解壓后與源文件也是一樣的,說(shuō)明LZW數(shù)據(jù)壓縮模塊實(shí)現(xiàn)了功能上的要求。

d.JPG

  然后對(duì)壓縮模塊的壓縮率進(jìn)行測(cè)試。整個(gè)設(shè)計(jì)最初的定位是應(yīng)用于微體積、微功耗的測(cè)試系統(tǒng)中,現(xiàn)選取了實(shí)驗(yàn)室里一些實(shí)測(cè)數(shù)據(jù)(圖4~6),對(duì)其分別用LZW與WinRAR進(jìn)行壓縮實(shí)驗(yàn)。WinRAR是一種商業(yè)的無(wú)損壓縮軟件,使用的是混合壓縮算法,可根據(jù)需要向計(jì)算機(jī)申請(qǐng)內(nèi)存作為哈希字典,字典大小可達(dá)4 MB。壓縮后的最終結(jié)果如表1所列。表中的壓縮率是按壓縮后的數(shù)據(jù)量除以壓縮前的數(shù)據(jù)量計(jì)算的,壓縮率數(shù)值越小表明壓縮效果越好。

e.JPG

  從表中可以粗略看出以下兩點(diǎn):

 ?、偻粔嚎s算法對(duì)同一類數(shù)據(jù)壓縮效果相差不多,但同一壓縮算法對(duì)不同類的數(shù)據(jù)壓縮效果相差較大。

 ?、贚ZW壓縮算法的壓縮性能低于商業(yè)軟件WinRAR,并且這種壓縮性能對(duì)不同類的數(shù)據(jù)的表現(xiàn)也不盡相同。

  從上表可以看出,所設(shè)計(jì)的算法對(duì)某些類型的數(shù)據(jù)的壓縮效果還是非常顯著的。雖然從壓縮率上來(lái)說(shuō),LZW不如WinRAR出色,這是由于LZW算法要比使用混合算法的winRAR簡(jiǎn)單,同時(shí)還受到在FPGA器件中構(gòu)造的哈希字典容量大小的限制。但LZW的優(yōu)點(diǎn)也在于其算法簡(jiǎn)單,在對(duì)同一數(shù)據(jù)文件進(jìn)行壓縮時(shí),速度上LZW比WinRAR要?jiǎng)俪鲆换I,這個(gè)速度特性在實(shí)時(shí)壓縮時(shí)尤為重要。

  結(jié)語(yǔ)

  介紹了一種用FPGA實(shí)現(xiàn)的數(shù)據(jù)壓縮系統(tǒng)。通過(guò)大量測(cè)試驗(yàn)證,結(jié)果表明系統(tǒng)能夠正確無(wú)誤地工作,壓縮時(shí)的最大數(shù)據(jù)吞吐量在8 MB/s以上,對(duì)實(shí)測(cè)數(shù)據(jù)壓縮率最高可達(dá)13.70%,壓縮效果顯著,大大減少了對(duì)存儲(chǔ)空間的要求,實(shí)現(xiàn)了壓縮性能與壓縮速度的統(tǒng)一。同時(shí),當(dāng)FPGA工作在主頻為24 MHz,A/D采樣頻率在1 Msps時(shí),整個(gè)電路的供電電流只有37 mA,滿足了測(cè)試系統(tǒng)低功耗的要求。若用外部RAM存儲(chǔ)器實(shí)現(xiàn)LZW字典,將能大幅度地?cái)U(kuò)大字典容量,顯著改善數(shù)據(jù)的壓縮效果。



 

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。