UMLE: Unsupervised Multi-discriminator Network for Low Light Enhancement*
亮点
这三类 鉴别器的设计,有效性有待考究,但是从原理上讲的通,它通过 高通/低通滤波器 提取颜色 和 文理部分,分别输入鉴别器。所以可以借鉴用外加手段实验输入图像信息分离的 思路 分开处理。优点类似 今年CVPR2020上的那个频率分解的思路,它是用两个不同卷积率的差去分离频率信息。
另一个采用了鉴别器生成器权重共享的策略,至少证明这个 东西不会影响效果,是轻量化的一个小trick。然后使用不同的CPAM对编码器的编码特征提取。
主要贡献
- 提出了一个实时的 基于 不成对图像训练的 低光照图像增强网络
- 使用了 多个 鉴别器,分别从 光照、纹理、和多尺度三个方面 来组合对抗损失 (创新点)
- 设计了 注意力模块,由通道注意力 和 像素注意力串接而成的 CPAM (最大池化+平均池化组成的像素注意力)
- 生成器 和 鉴别器 的 编码部分共享权重,说是可以提高训练的稳定性,并减少模型的大小
主要内容
结构
主要结构 不必 多说 很清晰。主要要注意以下几个点:
- 共享编码区的权重 提高了训练的稳定性,减少了模型大小
- 采用了 三个 鉴别器
- 多尺度鉴别器就是 在三个不同尺度各一个鉴别器来鉴别真假。因为仅仅一个全局鉴别器很难同时关注所有的区域,大尺度可以更好的关注大区域,小尺度可以更好关注细节区域
- 颜色鉴别器:注意 图上 未画出。实际在图像输入颜色鉴别器之前首先使用了 一个低通滤波器,以过滤纹理边缘信息,使得鉴别器只关注 颜色
- 纹理鉴别器:同上,输入鉴别器前,通过高斯高通滤波器提取出了 纹理细节,避免颜色影响。接着再编码->CPAM->分类输出结果。
上式是论文贴的 低通滤波器。
损失
- 对抗损失
- 循环一致损失 EnlightenGAN 中提出 由于不成对缺乏 很好的约束 ,所以它采用了 自监督损失(输入输出VGG),但是这里也用了VGG损失,也用了 循环一致损失,为啥?不过可以看出文章作者并未多提 循环一致这个事儿,说明不是创新点。
- 颜色损失:论文中 单独列出,我以为包含在 对抗损失之中?
- 保留损失:就是输入输出 VGG损失
- 重建损失:就是输入输出的L1距离 不知道为啥要这个损失 感觉 还不如VGG
实验结果
论文 从以下几个方面做实验:
- 和其他方法的定量对比 在 ETH数据集上对比 。
- 和其他方法做 USER STUDY实验
- 消融实验 , 验证 三种对抗其 和 CPAM 模块的作用、
- 在 应用 上,和SLAM 检测 这两个具体任务结合 分别验证对他们带来的性能提升。