KOALAnet_Blind_Super Resolution_Using_Kernel Oriented_Adaptive_Local_Adjustment_CVPR_2021_paper

KOALAnet: Blind Super-Resolution using Kernel-Oriented Adaptive Local Adjustment

• Paper：https://arxiv.org/abs/2012.08103
• Code：https://github.com/hjSim/KOALAnet

核心:

从输入的 LR 图像中估计潜在的非均匀模糊内核并将这些信息集成到 SR.

得到估计的退化核后, 输入上采样的KOALA模块,得到一个m和k, m类似一个注意力map, k为一个局部滤波器, 上采样网络的最后分支得到残差特征图和一个局部上采样核, 然后联合输出SR.

贡献点:

• 使用了一个新颖的KOALA模块, 自适应的根据预测的退化核调整SR feature.该KOALA 模块是可扩展的，可以插入到任何 CNN 架构中以执行图像恢复任务

• 对比了随机退化条件下获得的合成 LR 图像以及具有未知退化的 LR 图像，所提出的 KOALAnet 优于最近最先进的blind SR 方法。

• KOALAnet 能够识别故意模糊的区域并相应地处理它们，在 SR 之后使摄影师的意图保持不变。

网络结构

分三部分:

1.下采样网络:

多个ResBlock叠加的, UNet结构的网络. 输入为LR 图像X, 输出为k 退化核F_d

在的下采样网络得到F_d 后, LR 可根据Y来重建, (F_d 是一个 20*20的局部滤波器).

下采样网络的损失:

l1重建loss, E_hw() 为hw上的空间均值. k_d为真值 退化核.

2.上采样网络:

输入为LR图像X, 输出为SR图像 Y^.

一个卷积, 5个KOALA模块叠加,7个ResBlock, 再一个ReLU得到特征图f_u.即:

f_u之后经过两个分支得到residual map r 和local upsampling filters F_u:

F_u大致相当于一个通道过滤器, 将其作用于LR图像X, 得到Y~, 最终输出的SR结果为Y^ = Y~+r

上采样网络的损失为

3.面向核的自适应局部调制模块

KOALA 模块放置在特征提取的早期阶段，以便在重建阶段之前校准各向异性退化的 LR 特征。

核的融合方法:

根据估计的内核调整早期的SR特征.

实验

训练策略:

先使用l1(X, X') 来预训练 downsampling网络

再使用l1(Y, Y') 来预训练upsampling网络, 此时将KOALA模块都替换为ResBLock.

最后 使用L1(X, X')+L1(Y, Y') 来联合训练.

所有训练用的LR 图都为随机切出来的 64*64大小的patch, 像素归一化[-1,1], 然后在训练过程中使用k_d 进行随机退化.