0%

HDR-survey

发表于 更新于 分类于 ，

HDR 综述

图像融合

HDR 概念

  1. HDR 动态范围：是指图像的最大亮度和最小亮度的比值。对于一个8位的图像，能够存储的动态的范围只有 10^2量级，但是自然场景以及人眼的感知范围远远大于这个。而显示器可以显示的动态范围也只有 10^2 量级，因此直接显示 HDR 图像也会使细节丢失。
  2. HDR成像：包含两个 过程，一个是成像，相机采集生成位深度为10，12或者16位的高动态图像；另一个过程是 显示，使用特殊的显示器显示高动态范围的图像。

我理解的低光图像增强和HDR的区别：

主要就是两种场景：

  1. 一种是纯黑的图提亮；
  2. 一种是光照不均匀的图

低光照增强实际就是 8位的 图像 -> 提亮后的8位图像，整个过程图像位深度不变，只是通过算法改变了图像的效果，可以认为是伪HDR图像，因为记录的图像的动态范围并没有增加

HDR技术，则是 8位LDR图像 -> 10/14/16位HDR图像，图像的位深度变大了，图像记录信息的动态范围确确实实增加了。但是显示器能显示的动态范围有限，因此还是要经过 色调映射技术才能在一般的显示器上显示。

image-20210706200639404

方法分类

Tone Map色调映射

照相机和摄像机可以捕捉到HDR的影像，渲染过程中可以产生HDR的画面。这些内容如果需要显示到LDR的设备上，就需要一个称为tone mapping的过程，把HDR变成LDR HDR->LDR显示

Tone Map色调映射算法都可以看作 S 曲线映射 只是不同方法曲线形状不太一样

单帧HDR

单帧HDR 是输入为LDR图像，然后提升局部和全部细节输出，感觉输出也是LDR域的伪HDR图像

  1. 条件编码结构：传统的CNN在图像所有位置都采用相同的滤波器权重处理，但是对于图像中 不同区域的处理是不同的，例如图像超分中 通过预先语义分割的一个map作为条件图来使网络对不同纹理的区域有不同的处理。在HDR中也一样，因此常常会通过一个条件子网络来 做位置相关编码核图像相关编码。但是感觉这种和注意力没啥区别 都是点乘 一个 条件图 + 一个偏置
  2. 分频处理的结构：将图像分为不同的频带分别处理 低中高 分别处理融合 例如 DRBN 文中 就是全局三个频带处理，并且再每个阶段会有频带间的信息交流 就是会上采样融合作为下一阶段的输入 同时 全局和局部特征提取结构也是很常见的结构
  3. 生成多帧再融合的思路就是将 单张图像 通过 乘系数 或者 通过相机响应模型等方法 扩展为多张亮度等级的图 再采用多帧融合的思路进行 融合

多帧HDR

多帧HDR 常常是要考虑 动态场景下的 HDR 如果是对齐的 可以之间采用一个蒙板函数融合生成 HDR 图像 然后 ToneMap压缩动态范围再显示。同时多帧HDR可能有下面两种思路

  • 使用不同的曝光采集多帧图像 融合 由于不同时间采集的一定会有前景不对齐的问题
  • 采集多张相同的低曝光的图像 HDR+ 中 避免不可逆的过饱和，同时也可以采用多帧降噪方法抑制阴影区域的噪声，但是也存在不对齐的问题

网络结构

  1. 传统思路：传统思路就是 预处理 对齐 融合的 方法；早期的方法都是这样做的
  2. 多分支的网络：认为不需要认为做 对齐 CNN有自动对齐的功能，因此直接采用多分枝特征提取 + 融合 + 解码 的结构
  3. 在网络中引入 特征对齐网络，相对第二种的朴素思路自然效果更好。具体的可以是 使用可变形卷积构建的多尺度特征对齐模板，也可以是基于自适应卷积滤波器的结构，就是一个分支输出线性变换参数 ，通道数为 cxc 然后对对应位置的特征图的 c x c 领域的特征做线性变换输出。融合的话可以使用注意力机制的特征融合模块

参考链接

https://zhuanlan.zhihu.com/p/376246037

https://zhuanlan.zhihu.com/p/361596881

https://blog.csdn.net/weixin_45250844/article/details/103207184

https://mp.weixin.qq.com/s/WxHn33gIArfRlRdg0jDfdw

https://mp.weixin.qq.com/s/Tqxj7UfX8z6o3l8OfAqW0w