引言

圖像超分辨是計算機視覺和圖像處理中的一個重  要任務(wù) 。它旨在從低分辨率圖像中重建高分辨率圖像。 基于 Transformer 的圖像超分辨率網(wǎng)絡(luò)因其全局的特征  提取能力能夠重建恢復更真實的高分辨率圖像而受到  廣泛關(guān)注 。然而 , 其龐大的參數(shù)量導致推理過程需要  大量的內(nèi)存使用和浮點運算 , 尤其是對于涉及高分辨率圖像的超分辨率  (Super-Resolution, SR) 任務(wù)而言。 這些特點阻礙了其在計算存儲資源有限的邊緣設(shè)備上  部署 。因此 , 對基于 Transformer 的圖像超分辨率網(wǎng)絡(luò)  模型進行壓縮 , 以加快推理速度并降低計算成本 , 同  時保持模型性能十分必要 。二值化神經(jīng)網(wǎng)絡(luò)  (Binary  Neural Network, BNN) [1] 作為一種極致的模型壓縮技  術(shù) , 在模型輕量化方面潛力巨大 , 它能將網(wǎng)絡(luò)權(quán)重和  激活值從全精度量化至單比特 , 并使用同或門運算和  位計數(shù)來替代復雜的浮點數(shù)乘和累加運算 , 從而提供數(shù)十倍的模型壓縮率和顯著的計算加速 , 為超分辨率 重建模型在資源受限邊緣設(shè)備上的部署提供了極具潛 力的思路。

然而 , 現(xiàn)有二值化研究的應(yīng)用場景多集中于圖像  分類等上游視覺任務(wù) , 直接將現(xiàn)有的二值化方法[2 -4]   應(yīng)用于像素密集型超分任務(wù)會導致顯著的性能下降。 例如 , Xia 等人[5] 提出 BBCU, 使用殘差對齊方案來緩  解二值卷積輸出數(shù)值范圍不匹配問題 ; Li 等人[6] 通過  引入自適應(yīng)非對稱二值化方法來調(diào)整激活二值化的轉(zhuǎn)  換點以減小量化誤差 ; Xin 等人[7] 在 Rectified-BSR 模  型中使用多個不同閾值對激活值進行二值化并融合結(jié)  果 , 以減輕單一閾值帶來的信息損失 ; Zhang 等人[8]   提出的 FRBC 方法不僅對權(quán)重進行二值化 , 還對一階  二值化的殘差也進行了二值化 , 二階二值化的結(jié)果作  為輔助分支補償主干二值化網(wǎng)絡(luò)的量化誤差 。上述二  值化超分研究工作主要聚焦于減小激活權(quán)重的量化損  失 , 卻忽略了圖像輸入信息的限制 。相比較于對信息  損失具有更大容忍度的圖像分類任務(wù) , 像素敏感的超  分任務(wù)對輸入信息分布要求更高。

網(wǎng)絡(luò)模型在訓練時候的“ 輸入信息 ”是指輸入圖  像中包含的全部信息 Ix , 包括目標信息 Id 和冗余信  息 。其中 , 目標信息即輸入圖像中與任務(wù)相關(guān)的關(guān)鍵  信息 , 其余的與任務(wù)無關(guān)的信息則為冗余信息 。一個  網(wǎng)絡(luò)模型的訓練目標是從輸入中盡可能地提取相關(guān)信  息以滿足特定任務(wù)的需要 。通常 , 一個全精度網(wǎng)絡(luò)的  模型信息容量 Im 是可以充分表征這些相關(guān)信息的 , 且  又能容納冗余信息 , 如圖 1 (a) 所示 。神經(jīng)網(wǎng)絡(luò)訓練  通過損失函數(shù)反向傳播進行參數(shù)更新優(yōu)化 , 是盡量讓  模型信息容量 Im 包含目標信息 Id 的過程 。但是將網(wǎng)  絡(luò)模型進行二值化過后 , 二值化模型信息容量 Im ? 就  變得很小 , 導致難以匹配目標信息 , 如圖 1 (b) 所  示 。如何讓模型快速地關(guān)注到與任務(wù)有關(guān)的相關(guān)信息 , 排除冗余信息對于像素敏感的超分任務(wù)顯得至關(guān)重要。 為此 , 本文設(shè)計了一個注意力信息關(guān)注模塊 , 通過將  注意力關(guān)注區(qū)域與輸入信息進行掩碼操作來濾除冗余  信息 , 生成注意力關(guān)注輸入信息 , 引入先驗知識來更  好地將 目 標 信 息 Id 匹 配 到 二 值 化 模 型 信 息 容 量  Im ? 上。

同時 , 由于注意力機制的特殊性 , 二值化注意力 層部分參數(shù)會出現(xiàn)梯度消失現(xiàn)象從而增加模型訓練難 度 , 導致模型性能下降 , Bi-ViT[9] 引入了一個可學習 的縮放因子重新激活消失的梯度 , 但是也引入了額外 的浮點數(shù)計算 。為此 , 在不增加計算量的前提下 , 本文提出了一個簡單有效的漸進梯度更新區(qū)間約束策略來擴大梯度更新區(qū)間,使得更多的參數(shù)參與更新優(yōu)化。

圖 1  模型信息容量示意圖

綜上所述 , 本文提出了基于注意力信息關(guān)注和漸 進梯度更新區(qū)間約束策略的二值化超分網(wǎng)絡(luò) BiSR-AG, 本文研究框架如下 :

(1) 基于全精度超分網(wǎng)絡(luò) SwinIR[10] 利用 XNOR- Net[11] 與 GSB[12] 二值化方法實現(xiàn)了一個二值基線網(wǎng)絡(luò)。

(2) 在基線網(wǎng)絡(luò)基礎(chǔ) , 針對二值化模型信息容量 較小難以匹配目標信息 , 設(shè)計了一個注意力信息關(guān)注 模塊 IA, 獲取模型關(guān)注區(qū)域的目標信息 , 抑制冗余特 征輸入 , 更好匹配二值化模型。

(3) 為解決二值化注意力層部分參數(shù)會出現(xiàn)不更 新問題 , 提出了漸進梯度更新區(qū)間約束策略 GC。該策 略在訓練初期設(shè)置較寬的直通估計器  (Straight-Through Estimator, STE) 梯度更新區(qū)間 , 確保注意力模塊參數(shù) 獲得充足的梯度更新空間 。隨著訓練輪次的增加 , 逐 步縮小梯度更新區(qū)間至標準范圍 , 實現(xiàn)了平滑過渡 , 提升了注意力模塊參數(shù)的優(yōu)化效率 , 進而提高模型 精度。

本文詳細內(nèi)容請下載：

http://ihrv.cn/resource/share/2000006986

作者信息：

黃家鋒 , 吳麗君

(福州大學   物理與信息工程學院 , 福建    福州   350108)