【深度学习在图像增强上的应用】(Zero-DCE)Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement

已于 2022-03-27 14:48:13 修改

2022-03-26 23:48:32

Zero-DCE

论文地址： https://arxiv.org/abs/2001.06826
Tips：快速下载arxiv论文,在网址后面加上日期和页号
(http://xxx.itp.ac.cn/pdf/1406.2661.pdf)
github： https://github.com/wangyin0810/Zero-DCE

在Introduction 第二段中点名ZeroDCE网络的特点
在本研究中，我们提出了一种新的基于深度学习的方法，零参考深度曲线估计(Zero- DCE)，用于微光图像增强。它可以应对各种照明条件，包括不均匀和照明差的情况。我们没有执行图像到图像的映射，而是将任务重新表述为图像特定曲线估计问题。特别是，该方法** 以微光图像为输入，以高阶曲线为输出 **。然后利用这些曲线对输入的动态范围进行像素级调整，以获得增强的图像。曲线估计是精心制定的，以便它保持增强图像的范围和保持相邻像素的对比度。重要的是，它是可微的，因此我们可以通过深度卷积神经网络学习曲线的可调参数。该网络具有轻量化特点，可迭代应用于高阶曲线的近似，具有更强的鲁棒性和更精确的动态范围调整。
步骤：
以图像作为输入，并产生高阶曲线作为输出，再将曲线作为输入，进行像素级调整，最后输出图像。

论文没有使用 image to image 的方式，而是采用一种新颖的 image to curve 的方式，实现了无参考训练即不需要成对或者不成对的训练集，将光线增强问题转化为曲线变换问题，对图像中每个像素的增强高阶方程参数进行训练；
设计了四种损失函数对网络进行训练，认为是实现光线增强的关键；
轻量化结构网络，训练速度快。

LE(I(x);α)=I(x)+αI(x)(1−I(x))   (1)
其中，x为像素坐标; LE(I(x);α)是输入I(x)的增强版本; α∈[−1,1]是曲线的可训练参数，用于调整LE-curve的级数以及曝光度. 每个像素值都在[0,1]之间，每个运算都是像素层面上的.使用时，在输入的RGB通道分别应用LE-Curve，这可以更好地保持固有颜色以及避免过拟合。 
2、High-order Curve
 
Eq.(1)中定义的le曲线可以迭代应用，以实现更多功能的调节，以应对具有挑战性的弱光条件 
LEn(x) = LEn−1(x) + αnLEn−1(x)(1 − LEn−1(x))     (2)
3、pixel-wise Curve
 
高阶曲线可以在更大的动态范围内对图像进行调整。尽管如此，它仍然是一个全局调整，因为α用于所有像素。全球地图倾向于过度/不足增强局部区域。为了解决这一问题，我们将α表示为像素级参数，即给定输入图像的每个像素都有一条与最佳拟合α相对应的曲线来调整其动态范围。 
LEn(x)=LEn−1(x)+An(x)LEn−1(x)(1−LEn−1(x))     (3)
假设局部区域内的像素都具有相同的强度(也具有相同的调整曲线，α一致)，因此输出结果中相邻像素仍保持单调关系，所以pixel-wise的高阶曲线也满足设计的3个要求。
 
 从图中可以看出，不同通道的最佳拟合参数映射具有相似的调整趋势，但值不同，说明了弱光图像三个通道之间的相关性和差异。曲线参数图能准确显示不同区域的亮度(如墙上的两个闪光)。拟合后的图像可以通过逐像素曲线映射直接得到增强版图像。如图3(e)所示，增强后的版本显示了暗区内容，保留了亮区内容。 
四、Loss Function
 
1. Spatial Consistency Loss
 
Lspa 能够维持输入图像与其增强版本之间的邻域差异(对比度)，从而促进增强后图像仍能保持空间一致性。
  
2. Exposure Control Loss
 
Lesp 是为了限制曝光不足以及过度曝光的区域，其可以衡量局部曝光强度的平均值与well-exposedness Level之间的差异。文章根据现有的做法，将E设为RGB空间的gray level，本文实验设为0.6（在[0.4,0.7]之间几乎没差异）
  
3. Color Constancy Loss
 
根据Gray-World颜色恒等假设, RGB三个通道的平均值近似同一灰度值，然后分别调至每一像素。设计了Lcol 用于纠正增强图像中的潜在色偏，同时也建立了三个调整通道之间的关系。
  
4. Illumination Smoothness Loss
 
为了保持相邻像素间的单调关系，在每个curve parameter map A上增加了平滑度损失。
  
5. Total Loss
 
五、Experiment
 

 网络包含7个卷积层，最后一层用Tanh激活函数，且采用了skip-connection，即第1.2.3层输出和第6.5.4层输出进行通道级联；文章使用8个迭代作为默认值，且每个通道都要计算高阶曲线，因此是24个图。 
1. Effect of Parameter Settings.
 

 在图中，Zero-DCE3 32 8仅使用了三个卷积层，已经可以产生令人满意的结果，表明了零参考学习的有效性。零-DCE7 32 8和零-DCE7 32 16产生最视觉愉悦的结果与自然曝光和适当的对比。通过将迭代次数减少到1，可以观察到Zero-DCE7 32 1上的性能明显下降，如图(d)所示。这是因为只有一次迭代的曲线调整能力有限。这表明在我们的方法中需要高阶曲线。考虑到Zero-DCE7 32 8在恢复效率和恢复性能之间的良好权衡，我们选择它作为最终的模型。 
2. Contribution of Each Loss.
 

 我们在图中展示了通过各种损耗组合训练的零- DCE的结果。没有空间一致性损失Lspa的结果比完整结果的对比度(如云区域)相对较低。这表明了Lspa在保持输入和增强图像之间的相邻区域差异方面的重要性。消除曝光控制损失Lexp无法恢复弱光区。当丢弃颜色恒常性损失时，会出现严重的色差。当应用曲线映射时，这个变量忽略了三个通道之间的关系。最后，去除光照平滑性损失LtvA会阻碍相邻区域之间的相关性，导致明显的伪影。 
3. Visual and Perceptual Comparisons
 
我们在图中展示了典型弱光图像的视觉比较。对于具有挑战性的背光区域(如图7a)中的人脸)，Zero-DCE可以获得自然曝光和清晰的细节，而SRIE[8]、LIME[9]、Wang et al.[28]和gan[12]不能清晰地恢复人脸。retexnet[32]会产生过度曝光的伪影。在第二个以室内场景为特征的例子中，我们的方法增强了暗区，同时保留了输入图像的颜色。结果是视觉上的愉悦，没有明显的噪音和色差。相比之下，Li等人的[19]过分平滑了细节，而其他基线放大了噪声，甚至产生了颜色偏差(例如，墙壁的颜色)。 
4. Impact of Training Data.
 
为了测试训练数据的影响，我们在不同的数据集上重新训练Zero-DCE:1)只有900光线暗的图像2422张图片的原始训练集(Zero-DCELow), 2) 9000无标号低光照条件下的图像在黑暗中面对数据集[37](零- DCELargeL),和3)4800多次曝光图像的数据增强Part1和第二部分子集的马夫数据集4。如图©和(d)所示，尽管Zero-DCE使用了更多的弱光图像(即Zero-DCELargeL)，但在去除过度曝光的训练数据后，Zero-DCE倾向于对光照良好的区域(如人脸)进行过度增强。这些结果表明了在网络的训练过程中使用多重曝光训练数据的合理性和必要性。此外，当使用更多的多次曝光训练数据(即Zero- dcelargelh)时，Zero-DCE可以更好地恢复暗区，如图(e)所示。为了与其他基于深度学习的方法进行公平的比较，我们使用了相当数量的训练数据，尽管更多的训练数据可以为我们的方法带来更好的视觉性能。 
六、Conclusion
 
可见，Zero-DCE网络是轻量级的，可用于计算资源有限的设备，例如移动平台等。 
不足之处：
 
未引入语义信息
没有考虑噪声的影响
在竞争激烈的市场中，FIDO协议簇利用各种各样不同的设备使在线认证更简单 安全。这背后的大部分复杂性对依赖方的应用程序来说是隐藏的，但是为了达到 FIDO的目标，依赖方应该有多种方法来发现并校验认证器的特性。依赖方通过 FIDO联盟发布的认证器元数据声明能够获取经核实的认证器信息的子集。访问 元数据声明的URL通过元数据服务[UAFMetadataService]提供的元数据TOC（内
                                    代码层面：
完成强化学习算法（CPG PPO A3C  Q-learning DQN）在贪吃蛇环境的应用（即作出控制贪吃蛇的智能体）
在github上找到对应算法的代码并跑通代码
阅读理解代码的实现逻辑，对代码中用到的重要函数查阅和理解
对算法的调试和优化，使贪吃蛇智能体取得更好的分数
阅读并理解五大算法的论文（需配合贪吃蛇代码的完成顺序）
对分布式相关知识的学习：按顺序完成学习A3C DPPO  IMPALA  seed-rl的论文及其相关文章
（1）考察智能体在贪吃蛇的得分
                                    Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement文章复现问题汇总
程序已经跑完啦，结果也欢快地交给老师了，来捋一捋过程中遇到的问题。
1、安装pytorch
先找到pytorch的官网https://pytorch.org/
我是直接用cpu跑的代码，所以没装CUDA，直接将生成的命令在控制台运行。
跑代码会出现**No module named ‘pytorch_colors‘**的问题，解决方法为https://b
https://blog.csdn.net/qq_43555843/article/details/110956349?ops_request_misc=&request_id=&biz_id=102&utm_term=Zero-Reference%20Deep%20Curve%20Esti&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduweb~default-1-110956349
在低光照条件下拍摄的照片会降低图像的质量，影响图像传递信息，该文章提出了一种light-weight deep network的方法用于解决Low-Light图像增强问题。它将这个任务转换为了一个image-specific曲线估计问题(图像作为输入，曲线作为输出)，这类曲线对在输入的动态范围内进行像素级调整，从而获得增强图像。作者通过设置一系列non-reference的损失函数(可以间接反映增强质量)，使得网络在没有任何参考图像的情况下能够进行end-to-end训练，整个方法在多个数据集上都取得
                                    1. 介绍
在这篇论文中，我们呈现了一种新的深度学习方法，零参考深度曲线估计，来进行微光图像增强。它可以在各种各样的灯光条件包括不均匀和弱光情况进行处理。不同于执行图像到图像的映射，我们把任务重新设定为一个特定图像曲线估计问题。特别地，提出的这种方法把一个人微光图像作为输入，并把产生的高阶曲线作为它的输出。然后这些曲线被用作对输入的变化范围的像素级调整，从而获得一个增强的图像。曲线估计是精心制定的以便于它保持图像增强的范围并保留相邻像素的对比度。 重要的是，它是可微的，因此，我们可以通过一个深度卷积神经网.
一直在用OCC作项目，但这方面的中文资料很少，看来OCC在中国还不是十分普及；
后来，项目中使用OCC和DirectX结合使用，取得了很好的效果；
随着OCC6.3版本的推出，Open CASCADE在速度方面已有了很大的改变。以下为一些OCC的基础知识，愿与各位OCC爱好者共同学习；
一：OCC中的
PointSetType::Pointer 
    pointsToBSplinefliter(ImageType::Pointer image,PointSetType::Pointer pointset_temp)
    const unsigned int ParametricDimension = 1;
    co...
                                    zeroDCE是一种图像增强方法，可以将低光照或暗淡的图像转换为高质量、明亮、清晰的图像。它采用了深度学习技术，并通过使用无参卷积来消除噪声和伪影，从而提高了图像的质量和细节。zeroDCE还能够自适应地对不同类型的图像进行增强，如室内场景、室外场景、夜间拍摄等。它在各种图像处理领域都有广泛的应用，如计算机视觉、图像识别、人工智能等。zeroDCE的背景是图像增强技术在计算机视觉领域中具有重要的应用价值。
                                    Geoserver简介
Geoserver是一个功能齐全，遵循OGC开放标准的开源WFS-T和WMS服务器。利用Geoserver可以把数据作为maps/images来发布(利用WMS来实现)也可以直接发布实际的数据(利用WFS来实现)，同时也提供了修改，删除和新增的功能(利用WFS-T)。
GeoServer, 顾名思义,是一个Server. 它是开源的 ，允许用户查看和编辑地理数据。...