Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

原文链接

  http://arxiv.org/abs/1903.08817v1

  这篇文章提出了一种双边的残差网络来解决多种image restoration(去噪、去模糊、去雾、去雨滴)的问题。
  如下图所示,残差网络有多种形式。图中f是传统cnn中的用来提取特征的结构,g是用于图像恢复的工具模块,比如上采样下采样,attention结构等。其中(a)为He等人提出的经典ResNet。(d)为作者提出的方法。

  针对不同的图像复原任务,作者基于上述基本结构设计了不同的网络。其中DuRB-P用来去噪,DuRB-U用来去除动态模糊,DuRB-S用来去除雨滴,DuRB-US用来去雾

  就去雾来说,文中使用的网络并没有计算出准确的传输图t,而只是使用了注意力机制 estimate transmission map implicitly,最终实现的是端到端的图像去雾。

  图中的up表示上采样,使用的是PixelShuffle。channel-wise的attention机制使用的是SE-Residual block。训练时使用SSIM和l1损失的加权求和作为总的损失函数。

参考

https://www.jianshu.com/p/f5b85a4e2b86
https://github.com/liu-vis/DualResidualNetworks