《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 設(shè)計(jì)應(yīng)用 > 基于幀循環(huán)網(wǎng)絡(luò)的視頻超分辨率技術(shù)
基于幀循環(huán)網(wǎng)絡(luò)的視頻超分辨率技術(shù)
2020年電子技術(shù)應(yīng)用第9期
劉 佳，安鶴男，李 蔚，張昌林，涂志偉
深圳大學(xué) 電子與信息工程學(xué)院，廣東 深圳518061
摘要： 對(duì)比于單張圖像超分辨，視頻圖像超分辨率技術(shù)需要對(duì)輸入的連續(xù)時(shí)間序列圖像進(jìn)行融合、對(duì)齊等處理?；趲h(huán)的視頻超分辨率網(wǎng)絡(luò)共分為三部分：(1)幀序列對(duì)齊網(wǎng)絡(luò)提取圖像特征，并將鄰居幀對(duì)齊到中心幀；(2)幀融合網(wǎng)絡(luò)將對(duì)齊完成的幀進(jìn)行融合，使用鄰居幀的信息補(bǔ)充中心幀信息；(3)超分辨網(wǎng)絡(luò)將融合完成的圖像放大，得到最終的高清圖像。實(shí)驗(yàn)表明，與現(xiàn)有算法相比，基于幀循環(huán)網(wǎng)絡(luò)的視頻超分辨率技術(shù)產(chǎn)生圖像更為銳利，質(zhì)量更高。
中圖分類號(hào)： TN919.8；TP183
文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.200051
中文引用格式： 劉佳，安鶴男，李蔚，等. 基于幀循環(huán)網(wǎng)絡(luò)的視頻超分辨率技術(shù)[J].電子技術(shù)應(yīng)用，2020，46(9)：43-46.
英文引用格式： Liu Jia，An Henan，Li Wei，et al. Video super-resolution based on frame recurrent network[J]. Application of Electronic Technique，2020，46(9)：43-46.
Video super-resolution based on frame recurrent network
Liu Jia，An Henan，Li Wei，Zhang Changlin，Tu Zhiwei
College of Electronics and Information Engineering，Shenzhen University，Shenzhen 518061，China
Abstract： Compared with single image super-resolution, video super-resolution needs to align and fuse time series images. This frame-recurrent-based video super-resolution network consists of three parts：(1)The frame sequence alignment network extracts the image features and aligns the neighbor frames to the center frame；(2)The frame fusion network fuses the aligned frames and supplements the center frame information with the neighbor frame information；(3)The super-resolution network enlarges the fused image to obtain the final high-definition image. Experiments show that, compared with existing algorithms, video super-resolution technology based on frame loop network produces sharper images and higher quality.
Key words : video；super-resolution；deep learning

0 引言

    在現(xiàn)存硬件技術(shù)的基礎(chǔ)上，通過現(xiàn)存圖像序列或視頻相鄰進(jìn)幀之間的時(shí)空信息互補(bǔ)，將低分辨率的圖像序列或者視頻重構(gòu)為高分辨率的圖像序列或視頻，一直是數(shù)字圖像處理領(lǐng)域內(nèi)的一個(gè)重要分支。最初的視頻超分辨被認(rèn)為是圖像超分辨領(lǐng)域的簡(jiǎn)單擴(kuò)展，但是這些基于單張圖片的超分辨技術(shù)不能提取視頻相鄰幀之間的互補(bǔ)信息和存在視頻中的動(dòng)作位移。由于評(píng)價(jià)函數(shù)的關(guān)系，這些技術(shù)處理完成的視頻會(huì)導(dǎo)致偽影，觀看感覺不連續(xù)。基于幀循環(huán)網(wǎng)絡(luò)的視頻超分辨方法正是針對(duì)上述問題提出，并在公開數(shù)據(jù)集上驗(yàn)證了模型的有效性。

    圖像超分辨不僅可以生成高質(zhì)量的圖像，還可以用作目標(biāo)檢測(cè)[1]、人臉識(shí)別[2]等任務(wù)的預(yù)處理步驟。深度學(xué)習(xí)方法的引入為圖像超分辨領(lǐng)域帶來新的發(fā)展[3]。

    相比于單幅圖像超分辨，視頻超分辨可分為對(duì)齊、融合、重建3個(gè)步驟。對(duì)齊網(wǎng)絡(luò)的結(jié)果會(huì)直接影響融合網(wǎng)絡(luò)與重建網(wǎng)絡(luò)的效果。早期，基于深度學(xué)習(xí)的視頻超分辨方法[4]參考相鄰視頻幀之間的光流場(chǎng)扭曲鄰居幀從而達(dá)到對(duì)齊的目的。然而，Xue Tianfan等人[5]指出基于光流場(chǎng)的對(duì)齊方法并非視頻超分辨的最優(yōu)解，提出基于任務(wù)流的視頻超分辨率方法；JO Y H等人[6]提出了隱式運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄒ?guī)避流場(chǎng)的計(jì)算。




本文詳細(xì)內(nèi)容請(qǐng)下載:http://ihrv.cn/resource/share/2000002978




作者信息:

劉  佳，安鶴男，李  蔚，張昌林，涂志偉

(深圳大學(xué) 電子與信息工程學(xué)院，廣東 深圳518061)

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。