tony365的博客

ap-bsn 转换为公式3，然后pd是固定的。

训练的时候 only_first=true, 因此只有一个mask其作用，其实就是随机mask 50%像素建立损失，进行训练。默认2个mask互补，降噪后的图像被mask的区域 互补 组成完整的denoised image， 参看6.3。但是推理的时候用到多个mask, 所有被mask的像素是组成真个图像尺寸。推理的时候mask满足， 多个分支 所有被mask的像素 构成整幅图像。也就是n个mask的情况下，mask=0的区域占n分之一.总的来说，就是用未被mask的像素预测mask的像素。

3）但是总的效果是，噪声空间相关度越小，越容易降噪，降噪效果最好，细碎的噪声更容易去除，这个很有道理，也符合常识，空间相关度大的噪声比较难以区分是纹理还是噪声。2）对于噪声空间相关度大的图像， mask ratio越大越好，这个也好理解，mask ratio越大，网络学习更多内容相关的推理能力。beta = 1的时候，空间噪声有比较高的相关度，某个像素的噪声是 5，则相邻像素的噪声和 5比较接近，就是相关。每个像素被mask的概率，其实也是整张图像被mask的比例， 概率 tao。

这是关于raw noise model的最新一篇论文，结合了物理建模和深度学习，创新点吧也是有一些的，当然作者也提到可能对于特别暗的场景可能效果好一些，如果sidd数据集其实 P-G噪声模型也许就够好了，实际使用的适合我主要是基于PG，以及sampling建模的方法，标定噪声和制作数据集。这一系列论文是不断对raw noise model的建模方法改进，来生成噪声数据，效果是可以的。当然如果直接使用 n2n, nb2nb等无监督方法降噪也是可以的。建模越准，训练的model效果就会越好吗？

根据方法应用的位置将现有的增强技术分为两组：像素域就是针对图像 和 特征域就是中间的特征层。作者提出cutblur方法，正则化模型使模型可以学到 在图像的什么区域区增强以及如何增强。作者基于提出cutblur数据增强方法以及其他一些辅助方法 构建一个混合的数据增强策略，效果很好。作者主要利用EDSR model 在 DIV2K和 RealSR 两个数据集上从头训练，进行分析。

然后作者发现，拟合一个有噪声的图像，在前期会有一个阶段拟合的结果与 无噪声图像接近，然后最后训练完成与噪声图像接近。如下图a， 下图a还可以看出 在INR output与 clean最接近的时候，与 noisy的psnr 变化也更加平台。那么既然INR拟合一个有噪声的图像，在前期会有一个阶段拟合的结果与 无噪声图像接近，那么是不是在这个时候让网络停止训练就可以了。输入是图像的坐标，输出是像素值，然后这个网络就是这个图像的一个表示。在遇到噪声比较小的图像或者真实场景的图像容易失效，比如变模糊。

这里的n表示的是sensor的噪声模型（也可以是采样得到的，参考作者另一篇论文rethinking noise）.由于 新的数据集 更接近 noisy-clean 数据，因此训练的结果对于noisy的表现会更好。3.因此可以迭代训练，不断生成新的less biased数据集, 训练新的model。这样改进下来，和正常训练差别不大了，除了每个epoch要更新一次数据集。以上迭代训练需要生成多次数据集，训练多次model.对噪声图像再添加噪声，得到 噪声更大的图像。1.训练F0，生成新的数据集。

1）pair, 2）噪声模型合成噪声图，3） 无监督unpair, 和4）作者提出的利用down scale图近似ground truth。损失函数是 估计 的 noisy image 与 ground truth的L1。2）卷积网络学习raw2srgb的转换。1）利用重参数化技术噪声水平估计。3）denoiser的设计。

对于场景很暗的图像，又lowbit的情况下，数据量比较少，难以通过统计信息得到 比较多有价值的信息。通过以上步骤可知，在已知 clean-noisy(noisy可以是合成的) pair和噪声参数的情况下可以得到增强后的clean-noisy pair。和一般的通道颜色增强还是不同的，这里clean, noisy的通道都发生变化，增强了数据的多样性同时保持噪声model。泊松噪声的参数可以通过flat frame标定得到，而其他噪声作者采用采样的方式得到，从哪里采样呢？

1）pair, 2）噪声模型合成噪声图，3） 无监督unpair, 和4）作者提出的利用down scale图近似ground truth。同作者论文：http://www.ok.sc.e.titech.ac.jp/res/NLE/liu2014practical.pdf。比较好的创新就是 通过降噪后的图像筛选。首先通过高斯滤波或者小波的方法得到降噪后的图像，可以认为近似flat, 原文中使用的 第一次小波分解的 低频成分。然后计算原图 的均值和方差。下面是筛选后的，可以看出呈现近似的线性关系。