[论文阅读]Joint Pixel and Feature-Level Domain Adaptation for Recognition in the Wild

最新推荐文章于 2024-02-27 16:22:28 发布
原创 最新推荐文章于 2024-02-27 16:22:28 发布 · 1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

前言

这是一篇域自适应的文章，并将域自适应应用到车辆重识别场景中。本文的创新点在于，对于同一任务结合了feature-level DA（Domain ataptation）和pixel-level DA，在 feature-level观察到DANN（Domain Adversarial Neural NetWork）这种利用gan思想做无监督的域自适应方式和利用gan做SSL（semi-supervised learning）之间的联系，提出了一种DANN-CA(classfication-aware domain adversarial neural network) 并给出了自己的解释。而在pixel-level的DA其实就是将source的image变得更像target的image，这里的创新的应该就是1）改进了cyclegan将本是一对一的图像翻译改成一对多的翻译，这样就可以同时产生day and night风格图片，和基于外观流的视图合成网络(AFNet)加入2D的关键点变成KFNet网络

正文

本文的整体如图所示就是分两个思路，对feature-level做半监督学习来获得域之间的不变表示，而pixel-level选择特定的领域的变化比如光照和几何角度这两个对车辆影响比较大的因素。为什么要提出用pixle和feature结合的方式呢？因为在域自适应的过程中是一个黑匣子，我们想加入特定域的视觉信息比如光照或者几何的形变是十分困难的，feature-level的域适应的过程相对于pixle比较难以把控。而feature-level我们使用Unsupervised domain adaptation (UDA) 可以克服在目标域中缺少label的问题。因此如何有效的结合这两个域自适应方法就是本文要解决的问题了。具体来说，就是假设feature-level DA更适合半监督

最低0.47元/天 解锁文章
sunxia233
关注
迁移学习-PixelDA-Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks
forever1993的博客
10-31 5091
文章阅读 摘要Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks
语义分割-FCNs in the wild: Pixel-level adversarial and constraint-based adaptation 对抗方法实现不同数据集语义分割
ssshyeong的博客
12-20 1361
第一个使用领域对抗思想完成语义分割的论文
迁移学习——Domain Adaptation
热门推荐
小花生的博客
07-08 5万+
Domain Adaptation 在经典的机器学习问题中，我们往往假设训练集和测试集分布一致，在训练集上训练模型，在测试集上测试。然而在实际问题中，测试场景往往非可控，测试集和训练集分布有很大差异，这时候就会出现所谓过拟合问题：模型在测试集上效果不理想。 以人脸识别为例，如果用东方人人脸数据训练，用于识别西方人，相比东方人识别性能会明显下降。 当训练集和测试集分布不一致的情况下，通过在训练...
【GAN ZOO阅读】Unsupervised Pixel–Level Domain Adaptation with GAN 使用GAN的无监督的像素级域适应
hyczkg的博客
11-12 3645
原文链接，引用请标明出处 部分译文参考自 https://blog.youkuaiyun.com/forever1993/article/details/78405280 摘要 收集注释良好的图像数据集来训练现代机器学习算法对于许多任务而言过于昂贵。 一个有吸引力的替代方案是渲染数据，并在其中自动生成ground truth。不幸的是，纯粹基于渲染图像训练的模型通常无法推广到真实图像。 为解决这个缺点，先前的...
[cvpr2017]Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks
MataFela的博客
08-14 2385
优势 与Task-Specific图像训练结构解耦合。作者说因为这个域适应是在像素级别上进行的（ because our model maps one image to another at the pixel level），所以我们可以改变这个Task-Specific图像训练结构 在标签域也可以同样做到域适应target domain和source domain的标签域可以不一样，target
Unsupervised pixel-level domain adaptation with generative adversarial networks (DA+ 图像转换)
便纵有千种风情
08-05 905
**Bousmalis, Konstantinos, et al. “Unsupervised pixel-level domain adaptation with generative adversarial networks.” CVPR2017. ** 问题背景： 将原域的图像转换到目标域。已知源域的图像类别标签，对于目标域的图像标签未知。 损失函数 1. 域对抗损失： 2. 分类损失...
CVPR2021/邻域自适应/图像翻译-DRANet: Disentangling Representation and Adaptation Networks
ssshyeong的博客
04-09 3061
DRANet将图像表示分离，并在潜在空间中传输视觉属性，以实现无监督的跨域自适应。与现有的学习共享一个域的相关特征的域自适应方法不同，DRANet保留了每个域特征的独特性。我们的模型对源图像和目标图像的内容（场景结构）和风格（艺术外观）的单独表示进行编码。然后，它通过将转换的样式因子和为每个域指定的可学习权重合并到内容因子中来调整域。该学习框架允许使用单个编码器网络进行双向/多向域自适应，并调整其域转移。内容自适应域传输模块，该模块有助于在传输样式的同时保留场景结构。
CCF A类会议或期刊----近两年自监督相关论文
Thincor的博客
03-19 5865
会议/期刊 论文 neurips2020 Self-Supervised MultiModal Versatile Networks. neurips2020 Self-Supervised Relationship Probing. neurips2020 Cross-lingual Retrieval for Iterative Self-Supervised Training. neurips2020 Adversarial Self-Supervised Contrast....
CVPR2024｜底层视觉(超分辨率，图像恢复，去雨，去雾，去模糊，去噪等)相关论文汇总（附论文链接/开源代码/解析）【持续更新】
Kobaayyy的博客
02-27 2万+
整理汇总下今年CVPR底层视觉(Low-Level Vision)相关的论文和代码，括超分辨率，图像去雨，图像去雾，去模糊，去噪，图像恢复，图像增强，图像去摩尔纹，图像修复，图像质量评价，插帧，图像/视频压缩等任务
笔记：pixel-level domain transfer
easylifer的专栏
05-08 5393
本文结合对抗网络以及深度网络生成图像来不同域之间样本生成的问题，根据源域上的样本生成目标域上对应的样本。
Domain Adaptive Object Detection for Autonomous Driving under Foggy Weather
weixin_47020721的博客
01-28 1536
大多数自动驾驶的物体检测方法通常假设训练和测试数据之间的特征分布一致，但当天气差异显著时，情况并非总是如此。在晴朗天气下训练的目标检测模型在大雾天气下可能由于域间隙而不够有效。本文提出了一种新的雾天自动驾驶领域自适应目标检测框架。我们的方法利用图像级别和对象级别的自适应来减少图像风格和对象外观的领域差异。我们的方法利用图像级别和对象级别的自适应来减少图像风格和对象外观的领域差异。为了进一步增强模型在具有挑战性的样本下的能力，我们还提出了一个新的对抗性梯度反转层，用于对困难样本进行对抗性挖掘和领域自适应。
领域适应domain adaptation 学习笔记
leah123123的博客
10-30 881
domain adaptation经典方法 在source domain有大量fully labeled数据，target domain 有不完全labeled数据，两个domain 之间有gap存在（跨domain测试效果很差），如何利用source上的数据训练适应于target domain的模型呢？ 回答：想办法让他们投影到相同的特征空间 ps：以下内容属于homogeneous domain adaptation，图对图，声对声 discrepancy-based method 用pre-defin
论文-Joint Feature Selection and Subspace Learning for Cross-Modal Retrieval
weixin_30819085的博客
11-06 573
Joint Feature Selection and Subspace Learning for Cross-Modal Retrieval 跨模态索引就是根据一种类型的数据查询，可以检索出有关联的其他类型的数据。其中包含两个主要的问题：相关度的衡量和耦合特征的选取。 之前的很多工作主要是在解决第一个问题，相关度的衡量。但是这篇论文是同时针对两个问题来解决。 （1），J...
迁移学习 - 基于EEG的情绪识别
qq_41191024的博客
05-28 3356
迁移学习 - 基于EEG的情绪识别 挑战 目前，基于EEG的情绪识别主要存在两个挑战，1）排除个体差异：建立一个对于个体差异泛化能力强的模型；2）对噪声标签的学习：训练一个可靠且稳定的模型不是那么依赖于被试的反馈 迁移学习 近年来，迁移学习的方法被用来缓解EEG信号的个体差异，对于有无标签的个体（称为源域和目标域），迁移学习的方法是为了最小化源域和目标域的差异，尽可能满足独立同分布的假设，然后在目标域上实现一个更好的识别效果。 通过一个域偏移（domain-shifting）策略，学到了不同域的不变特征，并
域适配论文杂读（门外汉级）
PeaceInMind的博客
04-02 4254
要看的基于深度学习的adaptation和image translation方面的论文，希望能对这个领域最新的工作有个概念,主要给自己看。其实个人觉得解决这个问题真的不是重点，而是研究它的成因，以便在训练的过程中解决CNN泛化的问题才是本质   Table of Contents     未看或未总结   分类或分割 [2018-arxiv] Adaptive Semantic S...
Domain Adaptation（领域自适应，MMD，DANN）
nakaizura
12-26 4万+
Domain Adaptation 现有深度学习模型都不具有普适性，即在某个数据集上训练的结果只能在某个领域中有效，而很难迁移到其他的场景中，因此出现了迁移学习这一领域。其目标就是将原数据域（源域，source domain）尽可能好的迁移到目标域（target domain），Domain Adaptation任务中往往源域和目标域属于同一类任务，即源于为训练样本域（有标签），目标域为测集域，其测试集域无标签或只有少量标签，但是分布不同或数据差异大，具体根据这两点可以划分为： homogeneous .
Pixel-Level Domain Transfer
WWY19930324的博客
01-03 735
点击打开链接
计算机视觉中low-level feature和high level feature的理解
Alawaka2018的博客
06-04 1万+
Low-level feature： 通常是一些pattern, 比如边缘（edge),角(corner),颜色(color),像素(pixeles)等特征； High level feature：具有深层语义信息的特征。
迁移学习之Domain Adaptation
u014114990的专栏
09-26 4867
读：域适应是迁移学习中最常见的问题之一，域不同但任务相同，且源域数据有标签，目标域数据没有标签或者很少数据有标签，本文主要介绍了几篇基于卷积神经网络来处理域适应这个问题的文章。 前一篇文章中的图2给出了迁移学习中几种常见的问题，其中一个比较重要的是域适应问题domain adaptation，域不同但任务相同，且源域数据有标签，目标域数据没有标签或者很少数据有标签。例如下图四个数据集，它们从不同...
Scale-Aware Domain Adaptation for Surface Defects Detection on Machine Tool Components in Contaminant Measurements
最新发布
07-10
### 问题分析与背景 表面缺陷检测是工业质量控制中的关键环节，尤其是在机床部件的生产过程中。在有机污染物测量环境下，由于光照条件、表面污染、材质差异等因素的影响，传统的缺陷检测方法可能会遇到性能下降的问题。因此，尺度感知领域自适应方法（Scale-Aware Domain Adaptation, SADA）成为一种有效的解决方案，旨在提高模型在不同环境下的泛化能力。 ### 尺度感知领域自适应方法的核心思想 尺度感知领域自适应方法通过结合多尺度特征提取和领域自适应技术，使模型能够在不同尺度上捕捉缺陷特征，并在目标领域中保持较高的检测精度。这种方法通常包括以下步骤： 1. **多尺度特征提取**：利用卷积神经网络（CNN）的不同层次来捕捉图像的多尺度特征。浅层网络捕捉边缘和纹理等低级特征，而深层网络则提取更复杂的语义信息[^1]。 2. **领域自适应**：通过减少源域（标注数据丰富的环境）和目标域（实际应用环境）之间的分布差异，提升模型在目标领域的表现。常见的领域自适应方法包括最大均值差异（MMD）、对抗训练（如领域对抗神经网络DANN）等[^1]。 3. **尺度感知模块设计**：引入注意力机制或金字塔结构，使得模型能够动态地关注不同尺度的缺陷区域。例如，特征金字塔网络（FPN）可以有效地融合多尺度特征，从而提高检测精度[^1]。 ### 应用于有机污染物测量环境的挑战 在有机污染物测量环境中，表面缺陷检测面临以下几个主要挑战： - **光照不均匀**：污染物可能导致表面反光或阴影，影响图像质量。 - **复杂背景干扰**：污染物的存在可能掩盖缺陷特征，增加误检率。 - **尺度变化**：缺陷的大小和形状可能因污染物覆盖而发生变化，导致传统方法难以准确检测[^1]。 为了解决这些问题，研究者提出了多种改进策略。例如，基于深度学习的增强型生成对抗网络（GAN）可以用于生成带有污染物的合成图像，以扩充训练数据并提高模型的鲁棒性。此外，结合物理模型的先验知识，可以在损失函数中引入约束条件，进一步优化模型的表现。 ### 实验验证与性能评估 为了验证尺度感知领域自适应方法的有效性，通常需要在多个数据集上进行实验。这些数据集应涵盖不同的污染条件和缺陷类型。常用的评估指标包括精确率（Precision）、召回率（Recall）、F1分数以及平均精度（mAP）。通过对比不同方法在这些指标上的表现，可以全面评估模型的性能。 ### 示例代码 以下是一个简单的示例代码，展示如何使用PyTorch实现一个基本的尺度感知领域自适应框架： ```python import torch import torch.nn as nn import torch.optim as optim class ScaleAwareDomainAdaptation(nn.Module): def __init__(self): super(ScaleAwareDomainAdaptation, self).__init__() # 定义多尺度特征提取模块 self.feature_extractor = nn.Sequential( nn.Conv2d(3, 64, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2), nn.Conv2d(64, 128, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2) ) # 定义领域分类器 self.domain_classifier = nn.Sequential( nn.Linear(128 * 8 * 8, 1024), nn.ReLU(), nn.Linear(1024, 2) ) # 定义缺陷检测头 self.defect_detector = nn.Sequential( nn.Linear(128 * 8 * 8, 1024), nn.ReLU(), nn.Linear(1024, 1) # 假设二分类任务（有缺陷/无缺陷） ) def forward(self, x): features = self.feature_extractor(x) features = features.view(features.size(0), -1) domain_output = self.domain_classifier(features) defect_output = self.defect_detector(features) return defect_output, domain_output # 初始化模型、损失函数和优化器 model = ScaleAwareDomainAdaptation() criterion_defect = nn.BCEWithLogitsLoss() criterion_domain = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) # 训练循环 for epoch in range(10): # 假设有10个epoch for i, (source_data, target_data) in enumerate(zip(source_loader, target_loader)): # 合并源域和目标域数据 combined_data = torch.cat((source_data[0], target_data[0]), dim=0) domain_labels = torch.zeros(len(combined_data)).long() domain_labels[:len(source_data[0])] = 1 # 源域标签为1，目标域标签为0 # 前向传播 defect_output, domain_output = model(combined_data) # 计算缺陷检测损失 defect_loss = criterion_defect(defect_output.squeeze(), source_labels.float()) # 计算领域分类损失 domain_loss = criterion_domain(domain_output, domain_labels) # 总损失 loss = defect_loss + domain_loss # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() print(f'Epoch [{epoch+1}], Step [{i+1}], Loss: {loss.item()}') ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值