DRN

[[TOC]]

DRN for SISR 笔记

1.问题

1）超分是一个“病态”问题，一张LR图像可以对应多个HR图像，因此可能的映射关系的空间巨大，找到正确的对应关系很困难

2）真实场景下很难获取成对的LR-HR数据，直接给出一张LR图像的话并不清楚他是如何退化而来的，而且真实LR图像和生成图像的分布也不会一致，现在的方法无法适应具体情况

2.本文创新点

作者提出了对偶回归方法。通过在LR数据上引入附加约束来减少可能的映射关系的空间：具体表现为除了学习LR到HR的原始映射，还额外学习从HR到LR的对偶映射，形成了一个LR到HR到LR的闭环。这样的对偶过程也并不依赖HR图像，所以可以解决真实数据的超分问题，对真实图像的超分领域来说很有意义。

针对LR到HR解空间大的问题，作者通过设计一个反向的网络，实现SR到LR的映射，以此来制约和平衡主网络（也就是LR到HR映射的网络）的训练，这里作者设置了一个类似cyclegan形式的loss进而实现平衡网络训练。而为了解决HR和LR成对训练的依赖问题，作者通过在训练集中加入不成对的LR图像，进而实现解决真实世界中数据不成对的问题，那么，LR图像没有对应的HR图像那怎么训练呢？这个问题也能通过后面作者给的损失函数来解决。

3.训练策略

1）成对数据去训练

计算P模型和D模型的 L1 loss

2）不成对数据训练

将真实数据加入成对训练集中,按作者的说法占比为训练集总数量的百分之30最佳,成对数据相当于计算P模型和D模型的 L1 loss ,不成对的数据在P模型上加上一个权重,成对的权重为1,不成对权重为0

4.训练算法流程

• 首先，导入预训练的模型 P 和 D；
• 数据集由m + n组图片组成，其中前m组数据为Unpaired的真实数据（LR），后n组数据为Bicubic人工合成的Paired数据（LR-HR);
• 更新 P： ①对于前m组图片，由于没有HR，指示函数 1sp = 0 ，只需P把LR变换成SR ，再由D将其变换回LR`，比较LR ′与LR并计算对偶损失 LD 即可；②对于后面的n组成对图片，则跟前面Paired数据一样正常训练即可；
• 更新 D： 通过对偶损失 LD 更新D，直到收敛。

实验表明，真实Unpaired数据与合成的Paired数据的数量之比 ρ = m / m + n = 30%时效果最好。

5.实验

x2 倍 加入百分之30文本图像

PSNR Set 5 Best: 37.87 @epoch 400