摘 要: 基于TI公司高性能Davinci系列TMS320DM6437芯片構建了一個集視頻采集、退化仿真及復原的實時視頻圖像復原系統(tǒng)。首先,在VC平臺上模擬了圖像退化及復原算法;然后,在TMS320DM6437的平臺上對算法進行了移植;最后,在DSP/BIOS實時操作系統(tǒng)中對算法進行優(yōu)化,并加入人機交互。實驗結果表明,該系統(tǒng)能夠有效實現視頻圖像的復原,并且具有實時性強,人機交互良好的特點。
關鍵詞: 退化模擬;圖像復原;DSP/BIOS;人機交互
0 引言
在圖像復原技術發(fā)展的過程中,國內外學者提出了大量的圖像復原算法。目前一些新穎的復原技術有基于支持向量回歸的復原算法[1]、中介濾波算法[2]和基于水平集[3]的圖像復原算法等。
傳統(tǒng)的圖像復原算法是基于PC實現的,而本文所研究的視頻圖像實時復原系統(tǒng),不但對系統(tǒng)處理的實時性要求更高,而且運算量也大得多。由于其具有高速并行處理能力和高效的流水線處理能力,在硬件性能、圖像數據的傳輸等方面,比專業(yè)視頻編解碼芯片有更好的表現,因此,本文研究的視頻圖像復原是基于嵌入式DSP芯片來實現的。此外,DSP芯片功耗比較低,且用戶開發(fā)自由度比較大,為提高產品的穩(wěn)定性提供了更可靠的保障。
1 開發(fā)平臺及系統(tǒng)總體架構
1.1 硬件平臺
本系統(tǒng)的硬件開發(fā)平臺主要是基于SEED-DEC6437和SEED-DTK_MBoard平臺。其中,SEED-DEC6437是一款能夠處理各種視頻應用的獨立模板,采用支持TI公司達芬奇技術的高性能純DSP芯片TMS320DM6437。該芯片集成了為加速數字視頻開發(fā)所專門設計的協(xié)處理引擎,結合VPSS(最新視頻處理子系統(tǒng)),具有較高的視頻處理性能,可支持D1解析度的H.264視頻編碼。在SEED-DTK_MBoard的硬件系統(tǒng)中主要集成了DSP、Flash、SRAM、UART、LCD和D/A等外圍設備,使其能夠應用在顯示、鍵盤和模擬信號輸出等相關領域。
1.2 軟件平臺
本系統(tǒng)的軟件開發(fā)平臺主要是基于集成開發(fā)系統(tǒng)CCS及其實時操作系統(tǒng)DSP/BIOS。DSP/BIOS是一個可擴充、可裁剪的RTOS,主要包括常見嵌入式通用庫和API,可提供諸如多線程任務的調度、任務間的同步和通信、I/O服務、中斷優(yōu)先級的配置等功能[4],具有模塊化和小型化的特點。DSP/BIOS支持硬件中斷(HWI)、軟件中斷(SWI)、任務(TSK)和后臺線程(IDL)4種線程,可以合理分配空間和時間,簡便迅速地設計出功能多變的系統(tǒng)子程序。
1.3 基于DSP的視頻圖像實時復原系統(tǒng)總體架構
本系統(tǒng)中TMS320DM6437為算法處理器,可通過PC發(fā)出的調度指令快速地完成算法切換、調停當前狀態(tài)等功能。TMS320VC5402為控制器,主要負責人機交互界面的控制,它與TMS320DM6437通過多通道緩沖串口通信。系統(tǒng)總體架構如圖1所示。首先從CCD攝像頭采集模擬視頻信號,通過TVP5150視頻解碼芯片將模擬信號解碼成YCbCr4:2:2格式的數字圖像信號并存至DDR2內存,DM6437芯片可以通過訪問DDR2并根據不同的圖像處理算法對數據進行相應的處理,最后通過VPSS中的視頻處理后端(VPBE)轉換為數字圖像信號輸出到顯示屏。
2 復原算法的選取及軟件仿真
2.1 本文采用的圖像復原方法
圖像復原是指去除或減少在獲得觀測圖像過程中產生的降質影響[5]。根據圖像的退化環(huán)境不同,本系統(tǒng)主要選取了逆濾波、維納濾波和運動模糊復原算法。
逆濾波復原又叫非約束復原[6],在進行逆濾波時,根據先驗知識得到傳遞函數H,對退化圖像進行傅里葉變換得到G(u,v),即復原圖像的傅里葉變換,再經傅里葉反變換得到復原圖像f(x,y),過程如式(1)所示。
逆濾波雖然簡單,但不適合H(u,v)非常小的情況,此時無法精確恢復出圖像。為了克服這個缺點,本系統(tǒng)采用維納濾波,復原模型可表示為:
其中,K一般取0.5,最后對f(u,v)進行傅里葉逆變換得到復原圖像f(x,y)。維納濾波對噪聲放大具有自動抑制作用,在大多數情況下都可得到令人滿意的結果,但信噪比較低時,復原效果不是很理想。
針對運動模糊圖像的復原,本系統(tǒng)采取運動模糊復原算法,如式(3)所示。
2.2 圖像復原算法的仿真實現
常見的圖像退化方法有平滑模糊和運動模糊。本文在Visual Studio軟件中使用C++對系統(tǒng)所選取的算法進行了軟件仿真,并對一幅256×256的bmp格式的圖片分別進行了3種類型的退化仿真,如圖2所示。
圖3(a)是按照式(1)對圖2(c)逆濾波復原的結果,圖3(b)是按式(2)維納濾波復原的結果??梢钥闯?,逆濾波抑制噪聲的能力比較差,復原后的圖像嚴重失真,而維納濾波對噪聲的增多具有約束作用,復原圖像的細節(jié)保持比較好,但模糊程度相對增大。圖3(c)是按照式(3)對圖2(d)進行運動模糊復原的結果,復原效果比較理想,但復原圖像較原始圖像偏暗。
本文除了對圖像復原質量進行主觀分析外,也從客觀上比較了其峰值信噪比PSNR值的大小,如表1所示。可發(fā)現運動模糊圖像PSNR值最低,丟失的信息最多。在利用3種方法分別對平滑模糊圖像進行復原后,逆濾波的復原結果最佳,PSNR值最大。而在對加噪圖像的復原過程中,維納濾波抑制噪聲的能力最好,PSNR值明顯高于其他兩種方法。針對運動模糊圖像,逆濾波和維納濾波的PSNR值特別低,均不如運動模糊復原。
3 基于DSP/BIOS的圖像復原程序開發(fā)
3.1 視頻圖像復原系統(tǒng)的軟件設計
視頻圖像處理軟件平臺對任務的時序和復雜度要求苛刻,故采用基于DSP/BIOS的實時調度內核來配置線程的優(yōu)先級,處理線程的觸發(fā)、掛起等相應條件。本系統(tǒng)的軟件設計流程圖如圖4所示,為了測試本系統(tǒng)對圖像的處理性能,特移植了圖像模糊算法和圖像復原算法。在本系統(tǒng)中,DSP/BIOS內核調度是核心。BIOS首先需要對DSP進行初始化,將復位的向量指向端口初始地址c_int00,然后需要調用BIOS_init對配置用到的各個模塊進行初始化,同時需要在main()函數中對片內外設等常見的DSP配置初始化,此時不能對SWI、TSK等線程進行操作。在調用BIOS_start后,就可以完成DSP/BIOS的啟動,從而進入IDL_Loop空閑循環(huán),等待HWI、SWI、TSK等線程的就緒。當PC上位機發(fā)送控制指令時,就會觸發(fā)UART中斷,就緒TSK1,讀取控制指令,選定相應的算法模式,并對Mail_box賦新值。當Mail_box對應之前的Pend值時,相應的算法任務會立刻就緒,若具有高優(yōu)先級,算法線程會立即執(zhí)行。在完成視頻圖像處理以后,視頻圖像輸出任務就緒,回放處理后的視頻圖像。
3.2 人機交互和DSP/BIOS任務調度結果
本系統(tǒng)進行人機交互的硬件模塊是德州儀器TMS320C5402芯片。首先在鍵盤上輸入鍵值產生對應的掃描碼,當掃描碼在McBSP中進行傳輸后,TMS320DM6437與C5402芯片間便開始進行通信。人機接口框圖如圖5所示,如果PC發(fā)送數據完成時,通過鍵盤可進行不同算法間的切換,人機交互界面如圖6所示。
本程序中設置了一個McBSP硬件中斷,多線程中UART接收和McBSP中斷優(yōu)先級最高,其次是軟中斷UART數據讀入和發(fā)送,最后是TSK。線程間分別通過Mail_box()和SEM()進行通信和同步。DSP/BIOS的任務時序圖如圖7所示,可見多線程間的切換合理,程序運行正常。
3.3 實時圖像處理效果
本系統(tǒng)通過人機交互控制,得到的各種算法處理效果如圖8、圖9所示。
圖8(a)是運動模糊后的圖像,圖8(b)是平滑模糊后的圖像。在圖8(b)中加入隨機噪聲后,如圖9(a)進行逆濾波復原,如圖9(b)進行維納濾波復原。可發(fā)現逆濾波不能很好地過濾掉原有噪聲,并且噪聲在傅里葉變換過程中被放大;而維納濾波復原效果很好,可自動抑制噪聲放大。圖9(c)是運動模糊復原圖像,對物體間相對運動造成的模糊具有很好的復原效果,但與圖8(a)相比較,復原后圖像的整體亮度偏暗,這是因為在運動模糊模型的逆推過程中進行了像素點的近似取值[7]。
4 結論
本文以SEED-DEC6437開發(fā)板為核心硬件搭建視頻回路,基于DSP/BIOS構建軟件平臺,并將圖像模糊算法和圖像復原算法移植到該系統(tǒng)上。為了增強系統(tǒng)的可控性和實時性,又成功加入人機控制,經過對多張圖像的采集、模糊和復原,發(fā)現在DSP/BIOS調度后,圖像的處理速度大幅提升,復原效果良好,多任務間的通信和同步不易出現死循環(huán)??梢娫撘曨l圖像復原系統(tǒng)在性能上總體讓人滿意。
參考文獻
[1] 馮強,于盛林,張維.基于細胞神經網絡的圖像復原新方法[J].中國圖象圖形學報,2009,14(3):430-434.
[2] 周寧寧,趙正旭,秦文虎.圖像的中介濾波算法與圖像中介保真度度量[J].電子學報,2008,36(5):979-984.
[3] Feng Zhilin, Yin Jianwei, Liu Yang, et al. Research on jacquard fabrics image denoising using Allen-Cahn level set model[J]. Journal of Zhejiang University: Engineering Science, 2005,39(2): 185-189.
[4] 黃飛.基于DM642的紅外圖像實時處理系統(tǒng)的設計[D].杭州:浙江大學,2006.
[5] RUSSELL P St J. Photonic crystal fibers[J]. Science,2003,299(5605):358-362.
[6] 何紅英,尉朝聞.基于逆濾波法的圖像復原技術研究[J].西安文理學院學報(自然科學版),2009,12(3):92-96.
[7] 肖杰雄.基于POCS算法的超分辨率圖像重建[D].上海:上海交通大學,2009.