【论文笔记】Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization

最新推荐文章于 2025-03-05 16:32:49 发布

原创

最新推荐文章于 2025-03-05 16:32:49 发布 · 2.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

该博客探讨了一种利用自适应实例规范化(Adaptive Instance Normalization, AIN)进行去噪的深度学习方法，通过迁移学习策略改善模型在真实噪声场景下的泛化能力。研究发现，AIN可视为注意力机制的一种形式，并在噪声估计器中采用多尺度方法提高准确性。在迁移学习阶段，研究比较了不同层更新策略对性能的影响。实验结果显示，无监督学习的sigma map学习可能优于有监督学习。" 138708015,1190583,构建图文推理训练数据：LLaVA模型的多模态增强,"['人工智能', '语言模型', '多模态训练数据', '复杂推理类训练数据', 'LLaVA模型训练']

Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization

Abstract
Introduction
Method
something more

Abstract

提出泛化性较强的去噪结构和一种迁移学习策略。用自适应实例规范化（Adaptive Instance Normalization）来搭建去噪器，可以约束feature map，防止网络过拟合。

Introduction

先分析了正则化和迁移学习的影响，用下面的回归图像说明。
intro
第一张图表示的时训练和测试图像用的是AWGN，绿色的线是没有正则化的，红色的线是有正则化的，w/o正则化会过拟合训练数据，导致均方差较大。b图展示了真实噪声的分布情况，c图则利用了少量真实噪声样本来进行迁移学习，来将第一张图里的曲线拟合到第二张图的真实噪声中。

Method

提出的网络结构如下：
AINDNet
迁移学习包括两个阶段：先用综合噪声训练出原始denoiser，然后利用迁移学习再训练denoiser。
首先是噪声估计器的改进，指出之前的CBDNet等采用的噪声估计网络估计不准，指出问题在于感受野不够大，于是采用上下采样的多尺度方法来得到估计，噪声估计为大尺度和小尺度两个噪声估计的加权，对小尺度图像进行线性插值得到。
sigma map
其次是AIN自适应实例规范化，可以把AIN看作一个通道增强操作，本质上是一个大卷积，先将前一层进行Instance Norm逐通道归一化，然后仿射变换的参数