tony365的博客

然后作者发现，拟合一个有噪声的图像，在前期会有一个阶段拟合的结果与 无噪声图像接近，然后最后训练完成与噪声图像接近。如下图a， 下图a还可以看出 在INR output与 clean最接近的时候，与 noisy的psnr 变化也更加平台。那么既然INR拟合一个有噪声的图像，在前期会有一个阶段拟合的结果与 无噪声图像接近，那么是不是在这个时候让网络停止训练就可以了。输入是图像的坐标，输出是像素值，然后这个网络就是这个图像的一个表示。在遇到噪声比较小的图像或者真实场景的图像容易失效，比如变模糊。

这里的n表示的是sensor的噪声模型（也可以是采样得到的，参考作者另一篇论文rethinking noise）.由于 新的数据集 更接近 noisy-clean 数据，因此训练的结果对于noisy的表现会更好。3.因此可以迭代训练，不断生成新的less biased数据集, 训练新的model。这样改进下来，和正常训练差别不大了，除了每个epoch要更新一次数据集。以上迭代训练需要生成多次数据集，训练多次model.对噪声图像再添加噪声，得到 噪声更大的图像。1.训练F0，生成新的数据集。

1）pair, 2）噪声模型合成噪声图，3） 无监督unpair, 和4）作者提出的利用down scale图近似ground truth。损失函数是 估计 的 noisy image 与 ground truth的L1。2）卷积网络学习raw2srgb的转换。1）利用重参数化技术噪声水平估计。3）denoiser的设计。

对于场景很暗的图像，又lowbit的情况下，数据量比较少，难以通过统计信息得到 比较多有价值的信息。通过以上步骤可知，在已知 clean-noisy(noisy可以是合成的) pair和噪声参数的情况下可以得到增强后的clean-noisy pair。和一般的通道颜色增强还是不同的，这里clean, noisy的通道都发生变化，增强了数据的多样性同时保持噪声model。泊松噪声的参数可以通过flat frame标定得到，而其他噪声作者采用采样的方式得到，从哪里采样呢？

1）pair, 2）噪声模型合成噪声图，3） 无监督unpair, 和4）作者提出的利用down scale图近似ground truth。同作者论文：http://www.ok.sc.e.titech.ac.jp/res/NLE/liu2014practical.pdf。比较好的创新就是 通过降噪后的图像筛选。首先通过高斯滤波或者小波的方法得到降噪后的图像，可以认为近似flat, 原文中使用的 第一次小波分解的 低频成分。然后计算原图 的均值和方差。下面是筛选后的，可以看出呈现近似的线性关系。

由于clip原因，在接近0和接近255的部分方差是不准确的（会下降），因此这里使用[50, 200]部分的点拟合直线，得到直线系数，即beta1, beta2。对于较小的光子计数，光子噪声通常由其他与信号无关的噪声源主导，对于较大的光子计数，中心极限定理确保泊松分布接近高斯分布.原图， 椒盐噪声（50%的pixel被污染），随机噪声（50%的pixel被污染）， 高斯噪声和 泊松噪声。beta2是与信号无关的 噪声参数，比如高斯噪声方差。beta1是与信号相关的 噪声参数，比如泊松噪声。