论文阅读：Semi-supervised Transfer Learning for Image Rain Removal

2019CVPR半监督去雨方法
最新推荐文章于 2024-12-31 11:37:25 发布
原创 最新推荐文章于 2024-12-31 11:37:25 发布 · 1.8k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #神经网络 #机器学习

已经到2020cvpr了，我一月份的semi论文坑还没填，今天再重读一遍，这个论文有点难懂对于我这种小菜鸡来说啊啊啊啊
努力提升自己，规律每一天。

2019 CVPR ： Semi-supervised

这篇文章是2019年CVPR的一篇文章，主要提出了一种基于GMM高斯混合模型的半监督去雨方法，是西安交大Deyu Meng老师团队出的一篇文章。
在这里插入图片描述

本文主要提出了一种半监督的方法，训练数据整合进真实雨图。通过将输入的有雨图像与其期望的网络输出(无雨的清晰图像)之间的残差作为特定的参数化雨条纹分布来实现。网络通过有监督学习的合成的雨来适应真实的无监督学习中的雨的多样性，通过这种处理来减少真实和合成数据间的差异性的问题以及缺少训练样本的问题，提高泛化能力。

作者还指出，由于训练数据和测试数据的分布不一致，该任务可以自然地视为一个典型的领域适应问题。从学习合成去雨(训练、监督)过渡到学习真实去雨(测试、无监督)。该方法能够在训练过程中以数学上合理的方式充分利用无监督的实际雨天图像。具体来说，同时将有监督的合成数据和无监督的真实数据输入到网络中，并且网络参数可以通过有监督输入的网络输出图像的最小二乘残差(对于有监督样本)和它们的ground truth标签的组合进行优化。以及由无监督输入的网络输出图像与其原始雨图像的差值测量的特定参数化雨分布(对于无监督样本)的负对数似然(NLL)损失。

主要创新之处：

1、首次将单张图像去雨SIRR视作一个域适应问题，第一个提出使用半监督方法去雨。
2、同时利用有监督和无监督知识进行图像去雨。有监督部分，直接采用网络输出图像和干净无雨图像之间的最小二乘损失；无监督部分，则通过在基于残差的域理解参数化分布上施加一个似然项来表示期望输出和有雨图像之间

最低0.47元/天 解锁文章
论文简读：Semi-supervised Transfer Learning for Image Rain Removal
claire2003的博客
03-23 362
针对此问题，本文提出半监督迁移方法将无监督的真实雨天图像送入网络训练，将输入与输出（无雨的清晰图像）的残差设定为特定的参数化的雨纹分布，使用期望最大化算法与梯度下降策略，通过迁移监督合成的雨水，来适应真实无监督的雨水类型，以缓解训练样本不足与监督样本偏差带来的问题和传统深度学习方法存在的难以收集训练样本与过度拟合训练样本的问题，最终结果在数学上合理，且在合成数据与真实数据上都得到了验证。迁移学习的思想是，当我们在一个领域中已经学习到了一些有用的知识时，我们可以将这些知识应用到另一个领域中来提高模型的性能。
论文阅读：Syn2Real Transfer Learning for Image Deraining using Gaussian Processes
mqy19960330的博客
07-19 2426
CVPR2020：Syn2Real Transfer Learning for Image Deraining using Gaussian Processes 个人的第一篇博客，现在想记录一下自己近期所看过得论文。首次写文献阅读，文笔功夫很差，如有不足之处，恳请海涵。 Paper: https://arxiv.org/abs/2006.05580 Code: https://github.com/rajeevyasarla/Syn2Real Baseline: Semi-supervised tran
Syn2Real:Syn2Real转移学习，用于使用高斯过程进行图像去排水
05-26
Syn2Real Syn2Real转移学习，用于使用高斯过程进行图像去排水 ，（ ，（ （CVPR '20） @InProceedings{Yasarla_2020_CVPR, author = {Yasarla, Rajeev and Sindagi, Vishwanath A. and Patel, Vishal M.}, title = {Syn2Real Transfer Learning for Image Deraining Using Gaussian Processes}, booktitle = {The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2020} } 我们提出了一种基于高斯过程的半监督学习框架，该框
【论文阅读】Semi-supervised Transfer Learning for Image Rain Removal
Gillian_z
01-06 3008
论文发表于CVPR2019 论文链接 以往的去雨方法需要收集大量的合成雨图和无雨图，使得神经网络倾向于学习到合成雨水的特有的式样，但是在不太一样的真实雨水面前，则显得缺少泛化能力。该论文提出一种半监督的方法， 将真实雨图（无需对应的无雨图）加入训练集，将雨图和无雨图之间的残差视为一个参数化雨水分布，网络可以通过有监督的合成雨水来适应真实无监督多种雨类型，这样缺少训练样本和真实与合成数据之间存在差别...
Semi-Supervised-Transfer-Learning:半监督转移学习的自适应一致性正则化（CVPR 2021）
03-06
半监督转移学习的自适应一致性正则化 该存储库用于以下论文中介绍的自适应知识一致性和自适应表示表示一致性： Abulikemu Abuduweili，Li Xingjian Li，Humphrey Shi，徐成中和Dou Dedou，“半监督转移学习的自适应一致性正则化”。 该代码是在具有Tesla V100 GPU的CentOS 6.3环境（Python 3.6，PyTorch 1.1，CUDA 9.0）上开发的。 内容 介绍 在这项工作中，我们考虑半监督学习和转移学习的结合，从而导致一种更实用和更具竞争力的范例，该范例可以利用源域中强大的预训练模型以及目标域中的带标签/未带标签的数据。 为了更好地利用预训练权重和未标记目标示例的价值，我们引入了自适应一致性正则化，它由两个互补组成部分：源模型和目标模型之间（（标记和未标记）示例上的自适应知识一致性（AKC）；以及目标模型上带标签和未
深度学习——SEMI
weixin_51352656的博客
01-02 666
CVPR2019原论文：Semi-supervised Transfer Learning for Image Rain Removal 开源代码（tensorflow框架）：https://github.com/wwzjer/Semi-supervised-IRR 1.主要工作： 提出了半监督迁移学习网络完成单幅图像去雨。该网络采用半监督迁移学习，能够利用单幅真实含雨图像（没有ground truth 图像）进行训练。由于很难获取真实含雨图像的ground truth，大部分去雨网络方案都是采用人工合成的
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【论文笔记】—低照度图像增强—Semi-Supervised—DRBN—2020-CVPR
chaiky的博客
08-17 4263
【题目】：From Fidelity to Perceptual Quality: A Semi-Supervised Approach for Low-Light Image Enhancement 首次提出半监督学习方法用于低光图像增强。提出了一种深度递归频带网络DRBN（Recursive Band Learning），用于利用成对的低/正常光图像恢复增强的正常光图像的线性频带表示，然后基于感知质量驱动的非成对数据对抗性学习，通过另一种可学习的线性变换重组给定的频带来获得改进的频带表示。.......
Clearing the Skies: A deep network architecture for single-image rain removal解读
h_l_dou的博客
09-22 3115
Clearing the Skies: A deep network architecture for single-image rain removal解读Abstract1.IntroductionA:Related work:Video v.s. single-image based rain removalB Contributions of our DerainNet approach ...
去雨方向工作概述（一）
wang_chaochen的博客
12-02 5016
写在最前面： 一个优秀的整理去雨文章的GitHub：戳我 较早以前的文章 这里大部分文章是传统方法或者视频去雨。 1.Automatic Single-Image-Based Rain Streaks Removal via Image Decomposition (2012 TIP) 基于图像分解的自动单幅图像雨纹去除 1.文章做出了哪些成果？ 由于单幅图像去雨不像视频去雨那样可以利用图像之间的...
高斯混合模型（Gaussian Mixture Model，GMM）
K.Sun
02-17 1万+
先从简单的离散型随机变量看起离散型随机变量P{X=ak}=pk,k=1,2,3,...,nP\{X=a_k\} = p_k, k = 1, 2, 3, ..., n 其中：∑i=1npi=1\sum_{i=1}^n p_i=1 那么它的期望值是：E(X)=∑kakpkE(X)=\sum_k a_kp_k以上都是中学数学知识，那么到了高等数学的概率论与数理统计这门课才开始讨论连续随机变量的情况。如
常用小功能代码——python
qq26983255的博客
08-06 1841
将视频按照一定时间截取图片并且保存，或者说隔几帧保存一下一幅图像。 import os import subprocess def convert_video_images(source_path, output_path): fileTypes = ['.avi', '.mp4', '.flv', '.mov', '.mkv'] if not os.path.exists(...
基于MOG的降雨识别功能验证
u012926548的博客
12-31 1050
最近，一个新项目需要做室外降雨检测功能，不同于传统基于传感器方案，而是要基于相机来实现视觉感知，我这边结合以往经验，对可行性进行了验证，并提出了相关约束。
高斯混合模型的终极理解
热门推荐
njustzj001的专栏
03-18 10万+
高斯混合模型GMM是一个非常基础并且应用很广的模型。对于它的透彻理解非常重要。网上的关于GMM的大多资料介绍都是大段公式，而且符号表述不太清楚，或者文笔非常生硬。本文尝试用通俗的语言全面介绍一下GMM，不足之处还望各位指正。首先给出GMM的定义这里引用李航老师《统计学习方法》上的定义，如下图：定义很好理解，高斯混合模型是一种混合模型，混合的基本分布是高斯分布而已。第一个细节：为什么系数之和为0？PR
去雨去雾
T5A_318的博客
10-20 375
Earth-Mover 归一化的从一个分布变为另一个分布的最小代价, 可以用来测量两个分布(multi-dimensional distributions)之间的距离 评估标准： 1.PSNR（Peak Signal to Noise Ratio）峰值信噪比 MAXI2​为图片可能的最大像素值，即255，MSE 原图与雨图的均方误差 2.SSIM (Structural SIMilarity)结构相似性 计算 将图片转化为 YCbCr 格式，计算PSNR，亮度 (luminance)...
derain survey
T5A_318的博客
10-28 599
图像分解： 使用双边滤波将图像分解为低频和高频部分，分别包含图像的结构和纹理，然后对高频部分根据HOG特征（方向直方图）进行聚为2类（雨纹和背景纹理），对两个部分进行稀疏编码来实现基于MCA方法的图像分解效果。最后将高频部分的结合分量与低频部分进行积分得到去雨后的图像。 联合区域网络： 解决： 1. ACM模型区域导致的背景模糊 2.不同方向的雨纹叠加 .3,雨累积形成的雨雾降低了背景和雨纹变的可见度 创新： 1.HRM模型 2.迭代去雨 Removing rain fr..
Attentive Generative Adversarial Network for Raindrop Removal from A Single Image论文理解
Jerry_Leo_liu的博客
12-06 1050
  概述： 在去雨的过程中给网络加上了attention提取，让网络能够更好地学到有雨滴部分的差别。 网络结构如下： 首先使用attention提取网络来获得包含雨滴的图像的attention图像（值在0-1之间，包含雨滴的地方值较大），attention提取网络中使用通过原图与gt相减并进行二值化处理之后获得的mask与网络得到的attention图来计算loss，以此来优化atten...
STiL: Semi-supervised Tabular-Image Learning for Comprehensive Task-Relevant Information Exploration in Multimodal Classification
最新发布
04-01
### STiL 方法概述 Semi-supervised Tabular-Image Learning (STiL) 是一种用于处理多模态数据的半监督学习方法[^1]。该方法旨在通过结合表格数据和图像数据来提升模型性能，特别是在标注数据有限的情况下。STiL 的核心目标是从不同模态的数据中提取任务相关信息并加以融合。 #### 多模态分类中的任务相关信息探索 在多模态分类场景下，任务相关信息通常分布在不同的数据源之间。STiL 方法通过设计特定机制，在训练过程中逐步识别哪些特征对于当前任务最为重要[^2]。具体而言： - **跨模态关联建模**：STiL 利用注意力机制捕获表格数据与图像数据之间的潜在关系。这种机制能够动态调整各模态的重要性权重，从而聚焦于最相关的部分[^3]。 - **自监督信号增强**：为了充分利用未标记样本的信息，STiL 引入了自监督学习策略。这些策略可以通过预测旋转角度、对比学习等方式生成额外的学习信号，进一步优化模型参数[^4]。 - **联合表示空间构建**：通过对齐两种模态的嵌入向量，STiL 创建了一个统一的任务相关表示空间。这使得即使某些模态缺失或质量较差时，模型仍能保持较高的鲁棒性和准确性[^5]。 以下是实现上述功能的一个简化代码框架： ```python import torch.nn as nn class STILModel(nn.Module): def __init__(self, tabular_dim, image_channels): super(STILModel, self).__init__() # 图像编码器初始化 self.image_encoder = ImageEncoder(image_channels) # 表格数据编码器初始化 self.tabular_encoder = TabularEncoder(tabular_dim) # 跨模态注意层 self.cross_modal_attention = CrossModalAttention() # 输出层定义 self.classifier = Classifier() def forward(self, table_data, image_data): img_features = self.image_encoder(image_data) tab_features = self.tabular_encoder(table_data) combined_features = self.cross_modal_attention(img_features, tab_features) output = self.classifier(combined_features) return output ``` 此代码展示了如何分别对图像和表格数据进行编码，并利用 `CrossModalAttention` 层完成两者间的交互操作[^6]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值