0%

UMLE

UMLE: Unsupervised Multi-discriminator Network for Low Light Enhancement*

亮点

这三类 鉴别器的设计,有效性有待考究,但是从原理上讲的通,它通过 高通/低通滤波器 提取颜色 和 文理部分,分别输入鉴别器。所以可以借鉴用外加手段实验输入图像信息分离的 思路 分开处理。优点类似 今年CVPR2020上的那个频率分解的思路,它是用两个不同卷积率的差去分离频率信息。

另一个采用了鉴别器生成器权重共享的策略,至少证明这个 东西不会影响效果,是轻量化的一个小trick。然后使用不同的CPAM对编码器的编码特征提取。

主要贡献

  1. 提出了一个实时的 基于 不成对图像训练的 低光照图像增强网络
  2. 使用了 多个 鉴别器,分别从 光照、纹理、和多尺度三个方面 来组合对抗损失 (创新点)
  3. 设计了 注意力模块,由通道注意力 和 像素注意力串接而成的 CPAM (最大池化+平均池化组成的像素注意力)
  4. 生成器 和 鉴别器 的 编码部分共享权重,说是可以提高训练的稳定性,并减少模型的大小

主要内容

结构

image-20201230103849874

​ 主要结构 不必 多说 很清晰。主要要注意以下几个点:

  • 共享编码区的权重 提高了训练的稳定性,减少了模型大小
  • 采用了 三个 鉴别器
    • 多尺度鉴别器就是 在三个不同尺度各一个鉴别器来鉴别真假。因为仅仅一个全局鉴别器很难同时关注所有的区域,大尺度可以更好的关注大区域,小尺度可以更好关注细节区域
    • 颜色鉴别器:注意 图上 未画出。实际在图像输入颜色鉴别器之前首先使用了 一个低通滤波器,以过滤纹理边缘信息,使得鉴别器只关注 颜色
    • 纹理鉴别器:同上,输入鉴别器前,通过高斯高通滤波器提取出了 纹理细节,避免颜色影响。接着再编码->CPAM->分类输出结果。
image-20201230104605270
image-20201230104650389

上式是论文贴的 低通滤波器。

损失

  1. 对抗损失
  2. 循环一致损失 EnlightenGAN 中提出 由于不成对缺乏 很好的约束 ,所以它采用了 自监督损失(输入输出VGG),但是这里也用了VGG损失,也用了 循环一致损失,为啥?不过可以看出文章作者并未多提 循环一致这个事儿,说明不是创新点。
  3. 颜色损失:论文中 单独列出,我以为包含在 对抗损失之中?
  4. 保留损失:就是输入输出 VGG损失
  5. 重建损失:就是输入输出的L1距离 不知道为啥要这个损失 感觉 还不如VGG
image-20201230105254104

实验结果

论文 从以下几个方面做实验:

  1. 和其他方法的定量对比 在 ETH数据集上对比 。
  2. 和其他方法做 USER STUDY实验
  3. 消融实验 , 验证 三种对抗其 和 CPAM 模块的作用、
  4. 在 应用 上,和SLAM 检测 这两个具体任务结合 分别验证对他们带来的性能提升。