对比学习与图像去雾在24TIP和CVPR经典图像去雾论文中的良好结合，展示出模型良好的泛化能力(本期内容较详细多)

原创

已于 2024-09-26 22:01:40 修改 · 2.8k 阅读

43 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #深度学习 #经验分享

于 2024-09-26 21:55:30 首次发布

今天主要内容是图像去雾，对比学习，无监督学习，要分享的三篇论文分别是：
21CVPR Contrastive Learning for Compact Single Image Dehazing
24 TIP UCL-Dehaze: Toward Real-World Image Dehazing via Unsupervised Contrastive Learning
24 CVPR ODCR: Orthogonal Decoupling Contrastive Regularization for Unpaired Image Dehazing
以及关于对比学习和模型泛化能力的碎碎念
下面开始正题

引言

相信很多做深度学习的同学对“对比学习”都不陌生，，今天的学习笔记·和·对比学习，图像去雾都有联系，所以先回顾一下什么是对比学习：

对比学习的概念：

对比学习（Contrastive Learning）是一种自监督学习方法，通过比较数据样本之间的相似性和差异性来学习数据的良好特征或表征。其核心目标是通过对比相似和不相似样本，使模型学习到更加鲁棒的特征表示。

对比学习的基本思想源自表征学习中的相似性度量。在对比学习中，给定一个样本，模型需要判断哪些样本与它相似（正样本对），哪些样本与它不相似（负样本对）。这种相似性可以通过定义相似度函数（如余弦相似度）来衡量。模型的目标是最大化相似样本对之间的相似性，同时最小化不相似样本对之间的相似性。

对比学习包含几个关键组件：

数据增强：通过随机裁剪、翻转、颜色扰动等操作生成正样本对。
特征编码器：通常使用深度卷积神经网络（CNN）或预训练的Transformer模型提取样本的特征。
投影头：将特征编码器提取的高维特征通过小型全连接网络映射到较低维的空间。
相似度函数：常用的相似度度量包括欧几里得距离和余弦相似度，用于计算样本对之间的相似性。
对比损失函数：如InfoNCE损失，帮助模型学习区分正负样本对。

对比学习在许多领域都有广泛的应用

例如计算机视觉、自然语言处理和音频处理等。例如，在计算机视觉领域，对比学习被广泛应用于图像识别、目标检测和人脸识别等任务。在自然语言处理领域，对比学习被用于文本分类、情感分析、机器翻译等任务。此外，在音频处理领域，对比学习也被用于语音识别和音频分类等任务。

对比学习的成功在很大程度上取决于损失函数的设计。例如，InfoNCE损失函数就是基于互信息最大化的思想，通过优化正样本对的一致性并惩罚不匹配的负样本对来实现学习目标。此外，对比学习模型通常需要大量计算资源，但通过使用记忆库（Memory Bank）或动态量化等技术可以减少资源消耗

关于对比学习的概念我们先介绍到这，最近看了几篇与对比学习相关的顶刊和顶会图像去雾论文，都比较精彩，并且也都有一定的关联，今天总结一些亮点，一起学习一下：

在开始引入一下24年的两篇论文之前，我们先来看一篇关于对比正则化图像去雾比较经典的21年CVPR论文

题目：Contrastive Learning for Compact Single Image Dehazing
链接：https://openaccess.thecvf.com/content/CVPR2021/papers/Wu_Contrastive_Learning_for_Compact_Single_Image_Dehazing_CVPR_2021_paper.pdf
代码链接：https://github.com/GlassyWu/AECR-Net.

这一篇论文是我刚接触对比正则化的时候看的一篇论文，很亮眼，先来看他的摘要：

摘要：

Single image dehazing is a challenging ill-posed problem due to the severe information degeneration. However,
existing deep learning based dehazing methods only adopt clear images as positive samples to guide the training of dehazing network while negative information is unexploited.Moreover, most of them focus on strengthening the dehazing network with an increase of depth and width, leading to a significant requirement of computation and memory. In this paper, we propose a novel contrastive regularization (CR) built upon contrastive learning to exploit both the information of hazy images and clear images as negative and positive samples, respectively. CR ensures that the restored image is pulled to closer to the clear image and pushed to far away from the hazy image in the representation space. Furthermore, considering trade-off between performance and memory storage, we develop a compact dehazing network based on autoencoder-like (AE) framework. It involves an adaptive mixup operation and a dynamic feature enhancement module, wh