基于幀循環(huán)網(wǎng)絡的視頻超分辨率技術
2020年電子技術應用第9期
劉 佳，安鶴男，李 蔚，張昌林，涂志偉
深圳大學 電子與信息工程學院，廣東 深圳518061
摘要： 對比于單張圖像超分辨，視頻圖像超分辨率技術需要對輸入的連續(xù)時間序列圖像進行融合、對齊等處理。基于幀循環(huán)的視頻超分辨率網(wǎng)絡共分為三部分：(1)幀序列對齊網(wǎng)絡提取圖像特征，并將鄰居幀對齊到中心幀；(2)幀融合網(wǎng)絡將對齊完成的幀進行融合，使用鄰居幀的信息補充中心幀信息；(3)超分辨網(wǎng)絡將融合完成的圖像放大，得到最終的高清圖像。實驗表明，與現(xiàn)有算法相比，基于幀循環(huán)網(wǎng)絡的視頻超分辨率技術產(chǎn)生圖像更為銳利，質(zhì)量更高。
中圖分類號： TN919.8；TP183
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.200051
中文引用格式： 劉佳，安鶴男，李蔚，等. 基于幀循環(huán)網(wǎng)絡的視頻超分辨率技術[J].電子技術應用，2020，46(9)：43-46.
英文引用格式： Liu Jia，An Henan，Li Wei，et al. Video super-resolution based on frame recurrent network[J]. Application of Electronic Technique，2020，46(9)：43-46.
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.200051
中文引用格式： 劉佳，安鶴男，李蔚，等. 基于幀循環(huán)網(wǎng)絡的視頻超分辨率技術[J].電子技術應用，2020，46(9)：43-46.
英文引用格式： Liu Jia，An Henan，Li Wei，et al. Video super-resolution based on frame recurrent network[J]. Application of Electronic Technique，2020，46(9)：43-46.
Video super-resolution based on frame recurrent network
Liu Jia，An Henan，Li Wei，Zhang Changlin，Tu Zhiwei
College of Electronics and Information Engineering，Shenzhen University，Shenzhen 518061，China
Abstract： Compared with single image super-resolution, video super-resolution needs to align and fuse time series images. This frame-recurrent-based video super-resolution network consists of three parts：(1)The frame sequence alignment network extracts the image features and aligns the neighbor frames to the center frame；(2)The frame fusion network fuses the aligned frames and supplements the center frame information with the neighbor frame information；(3)The super-resolution network enlarges the fused image to obtain the final high-definition image. Experiments show that, compared with existing algorithms, video super-resolution technology based on frame loop network produces sharper images and higher quality.
Key words : video；super-resolution；deep learning
0 引言
在現(xiàn)存硬件技術的基礎上，通過現(xiàn)存圖像序列或視頻相鄰進幀之間的時空信息互補，將低分辨率的圖像序列或者視頻重構為高分辨率的圖像序列或視頻，一直是數(shù)字圖像處理領域內(nèi)的一個重要分支。最初的視頻超分辨被認為是圖像超分辨領域的簡單擴展，但是這些基于單張圖片的超分辨技術不能提取視頻相鄰幀之間的互補信息和存在視頻中的動作位移。由于評價函數(shù)的關系，這些技術處理完成的視頻會導致偽影，觀看感覺不連續(xù)。基于幀循環(huán)網(wǎng)絡的視頻超分辨方法正是針對上述問題提出，并在公開數(shù)據(jù)集上驗證了模型的有效性。
圖像超分辨不僅可以生成高質(zhì)量的圖像，還可以用作目標檢測[1]、人臉識別[2]等任務的預處理步驟。深度學習方法的引入為圖像超分辨領域帶來新的發(fā)展[3]。
相比于單幅圖像超分辨，視頻超分辨可分為對齊、融合、重建3個步驟。對齊網(wǎng)絡的結果會直接影響融合網(wǎng)絡與重建網(wǎng)絡的效果。早期，基于深度學習的視頻超分辨方法[4]參考相鄰視頻幀之間的光流場扭曲鄰居幀從而達到對齊的目的。然而，Xue Tianfan等人[5]指出基于光流場的對齊方法并非視頻超分辨的最優(yōu)解，提出基于任務流的視頻超分辨率方法；JO Y H等人[6]提出了隱式運動補償?shù)姆椒ㄒ?guī)避流場的計算。
本文詳細內(nèi)容請下載:http://m.xxav2194.com/resource/share/2000002978
作者信息:
劉 佳，安鶴男，李 蔚，張昌林，涂志偉
(深圳大學 電子與信息工程學院，廣東 深圳518061)
此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權禁止轉(zhuǎn)載。