【论文笔记】Asymmetric Tri-training for Unsupervised Domain Adaptation

最新推荐文章于 2023-12-30 21:54:42 发布
原创 最新推荐文章于 2023-12-30 21:54:42 发布 · 2.5k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#迁移学习

本文介绍了Asymmetric Tri-training方法用于无监督领域适应，它解决了源数据有标签而目标数据无标签的问题。通过训练两个分类器为目标数据生成可靠标签，再用这些标签训练新的分类器，实现目标域的特征学习。训练过程中，通过约束不同分支的分类器权重差异以确保多样性，并使用特定阈值筛选有效标签。

@[TOC](【论文笔记】Asymmetric Tri-training for Unsupervised Domain Adaptation))
论文地址：http://cn.arxiv.org/pdf/1702.08400v3
代码地址：https://github.com/corenel/pytorch-atda#pytorch-atda

基本介绍

ATDA 解决的问题： 源数据有类别标签，目标域没有标签；如何去学习到目标域的特征表达？在不同域都具有良好的效果的分类器是不存在的，文中的解决方法如下：用两个网络来去标记目标域的标签，和另外一个网络学习目标域的特征表达。

主要结构

  1. 主要流程如下：

    1. 首先用源域数据（有标签）训练两个分类器。
    2. 用源域训练好的分类器给目标域的数据打标签，只有两个分类器的预测标签是一样的，并且至少有一个是大于给定阈值的，该标签才是可靠的。
    3. 用目标域的数据（有伪标签）去训练一个新的分类器。
      基本流程图

  2. 流程图
    流程图

这张图就是上面的基本流程的具体化，主要有四个部分：F(源域和目标域共享的网络)，F1<

最低0.47元/天 解锁文章
最优传输论文（七）：Enhanced Transport Distance for Unsupervised Domain Adaptation论文原理
lyy的博客
05-22 1150
目录前言原理阐述文章介绍介绍OT简要回顾及符号定义本文模型基于注意力模型对距离重新加权Kantorovich势的网络再参数化Discriminant Features Adaption and Model Optimization总结 前言 本文属于我最优传输系列里的七篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。 原理阐述 文章介绍 文章发表于2020年的CVPR。 介绍 现有的基于OT距
域适应方法系列1：Asymmetric Tri-training for Unsupervised Domain Adaptation
weixin_43673376的博客
09-22 1124
1、Asymmetric Tri-training for Unsupervised Domain Adaptation–非对抗方法         研究域适应，都希望能够学到域不变的特征，也就是说，假如现在是分类的任务，希望学习到分类器在不同的域都能够表现良好。实际情况是，这是很难的事情，因为不同域的具有不同的分布，具有各自具体域的特性。关于这方面的解决方法很多，看下本文Asymmetric Tri-training的方法吧，即用不对称的三个网络，其中两个网络用来生
【Asymmetric Tri-training for Unsupervised Domain Adaptation 2017 ICML】
m0_51496961的博客
05-06 848
Asymmetric Tri-training for Unsupervised Domain Adaptation   深层模型需要大量的标注样本进行训练，但是收集不同领域的标注样本是代价昂贵的。   无监督领域自适应：利用标注的有标注的源样本和目标样本训练一个在目标域上能够很好地work的分类器。 存在的问题虽然很多的方法去对齐源域和目标域样本的分布，但是简单地匹配分布不能确保目标域上的准确率。 为了学习目标域的判别性的表示，假设人工标记的目标样本可以得到很好的表示。 ==Tri-training：==
第二十四篇——Unsupervised Domain Adaptation by Backpropagation.pdf
11-23
顶级的深层架构是在大量标记数据上训练的。在某项任务缺少标记数据时，域适应通常提供了一个有吸引力的选择，因为可以获得性质相似但来自不同领域的标记数据(例如合成图像)。在此，我们提出了一种新的领域适应方法，该方法可以训练来自源域的大量标记数据和来自目标域的大量未标记数据(不需要标记的目标域数据)。随着训练的进行，该方法促进了“深度”特征的出现，这些特征(i)对源域上的主要学习任务具有区分能力，(ii)对于域之间的转换不变性。我们表明，这种适应行为可以在几乎任何前馈模型中实现，通过增加少量的标准层和一个简单的新的梯度反转层。由此产生的增强架构可以使用标准的反向传播进行训练。总的来说，使用任何深度学
半监督学习算法——ATDA(Asymmetric Tri-training for Unsupervised Domain Adaptation)
Madazy的博客
11-07 4510
Asymmetric Tri-training for Unsupervised Domain Adaptation (2017 ICML)论文笔记 Abstract Tri-training(周志华，2005, 无监督学习领域最经典、知名度最高的做法)利用三个分类器按照“少数服从多数”的原则来为无标签的数据生成伪标签，但这种方法不适用于无标签的目标域与有标签的源数据不同的情况。 ATDA要解...
论文笔记 —— 《Asymmetric Tri-training for Unsupervised Domain Adaptation》
ZZhangxyuuu的博客
12-10 603
论文笔记 —— 《Asymmetric Tri-training for Unsupervised Domain Adaptation》 图片来自：link ID: Madazy 核心 ** 非对称地使用三个神经网络，非对称的意思是说，与Tri-training不同，其中的两个来为无标签数据生成伪标签，还有一个来学习伪标签的特征表达。** 要解决的问题是：源数据有标签，目标域没有标签，目标域与源...
CVPR2019:Domain-Specific Batch Normalization for Unsupervised Domain Adaptation无监督域适配的特定域批处理规范化
ssshyeong的博客
09-13 3266
我们在深度神经网络中提出了一种新的基于领域特定批归一化的无监督领域自适应框架。我们的目标是通过在卷积-卷积神经网络中专门化批归一化层，同时允许它们共享所有其他模型参数，从而适应这两种领域，这是通过两阶段算法实现的。在第一阶段，我们使用外部无监督域自适应算法(例如ample, MSTN[27]或CPUA[14])来估计目标域中示例的伪标签，该算法集成了提出的特定于域的批处理归一化。第二阶段使用源和目标域的多任务分类损失学习最终模型。注意，两个域在两个阶段都有单独的批处理规范化层。
CVF2020邻域自适应/语义分割：FDA: Fourier Domain Adaptation for Semantic SegmentationFDA：用于语义分割的傅立叶域自适应算法
ssshyeong的博客
04-19 4551
我们提出了一个简单的领域对齐方法，它不需要任何学习，只需要一个简单的傅里叶变换及其逆变换，可以很容易地集成到一个学习系统中，将无监督领域适应转换为半监督学习。当集成到一个相对标准的语义分割模型中时，它在当前的基准测试中实现了最先进的性能。
DANN：Unsupervised Domain Adaptation by Backpropagation
热门推荐
gdtop的个人笔记
04-17 1万+
本篇是迁移学习专栏介绍的第十三篇论文，发表在ICML15上。论文提出了用对抗的思想进行domain adaptation，该方法名叫DANN(或RevGrad)。核心的问题是同时学习分类器、特征提取器、以及领域判别器。通过最小化分类器误差，最大化判别器误差，使得学习到的特征表达具有跨领域不变性。 Abstract 高性能的深层体系结构是针对大量标记数据进行训练的。在缺少特定任务的标...
【最优传输论文七】2020CVPR - Enhanced Transport Distance for Unsupervised Domain Adaptation
m0_60231311的博客
05-13 617
然后将注意力矩阵S归一化为单位长度，即矩阵S的每一行元素和为1，例如，通过softmax，其中bt是目标域的小批量大小。Kantorovich通过将Monge问题转化为耦合（X，Z）～π的最小化，而不是映射集，从而放松了Monge问题，其中π的边缘应等于µ和v。这种方法扩展了对偶变量的适用性，使得最优传输计划学习过程可以摆脱当前特征空间的约束，在更灵活的空间中进行。由于潜在变量重新参数化网络g的更新是整个模型优化之外的一个独立循环，因此相应的参数表示为W g，其他部分的参数则表示为W。
最优传输论文（八）Enhanced Transport Distance for Unsupervised Domain Adaptation
qq_42595295的博客
01-04 1030
1.将Kantorovich潜在网络进行参数化，并根据深度特征返回最优传输计划g(f(x)) 用神经网络g来表示潜在特征对偶变量v，对应参数Wg , 优化传输计划πε的过程转化为优化网络g的过程. 对网络g进行参数优化后，利用当前参数Wg计算出最优传输距离Wε(µ，ν) 2.利用attention模块重新衡量传输距离，对距离矩阵进行重加权操作，使一个mini-batch实现真实的数据分布 3.最终，通过Kantorovich潜在网络计算得到的g(f t j)与重加权后的距离矩阵c(f s i,f t j)得
Moving-Semantic-Transfer-Network:用于ICML2018的Tensorflow代码，学习用于无监督域自适应的语义表示
05-01
移动语义转移网络（ICML2018） 在对抗性适应的基础上，我们提出了一种Pseudo Centroid Alignment Objective来实施Semantic Transfer 。 如果您被限制使用相对较小的批处理大小（对于64个分类，则为64；对于1000个分类，则为100），那么您可能会对我们的“ Moving Centroid Alignment感兴趣。 欢迎检查我们的。 引文 如果您认为这对您的研究有用，请引用以下论文，我们将不胜感激： @inproceedings{xie2018learning, title={Learning Semantic Representations for Unsupervised Domain Adaptation}, author={Xie, Shaoan and Zheng, Zibin and Chen, Liang an
DA-4-FixBi: Bridging Domain Spaces for Unsupervised Domain Adaptation
singxsy的博客
10-27 1035
FixBi: Bridging Domain Spaces for Unsupervised Domain Adaptation, 2021CVPRMethodFixed Ratio-based MixupConfidence-based Learning正伪标签的双向匹配（Bidirectional Matching with positive pseudo-labels）带有负伪标签的自我惩罚（Self-penalization with negative pseudo-labels）一致性正则化（Co
【论文阅读】Learning Semantic Representations for Unsupervised Domain Adaptation
zhy455的博客
11-12 4082
Learning Semantic Representations for Unsupervised Domain Adaptation 代码地址：https://github.com/Mid-Push/Moving-Semantic-Transfer-Network Tensorflow 主要贡献 这篇文章解决的主要问题是如何用有标签的数据去标记无标签的数据？ 之前的方法都忽略了样本的语义信息...
Learning Semantic Representations for Unsupervised Domain Adaptation
weixin_44858740的博客
04-13 158
由于人工标注成本昂贵，将知识从标签丰富的源领域转移到无标签的目标领域非常重要。先验域适应方法通过对齐源域和目标域之间的全局分布统计信息来解决这个问题，但是先验方法的一个缺点是忽略了样本中包含的语义信息，例如目标域中背包的特征可能映射到源域中汽车的特征附近。在本文中，我们提出了移动语义迁移网络，通过对齐标记源质心和伪标记目标质心来学习未标记目标样本的语义表示。同一类别但不同领域的特征有望被附近映射，从而提高目标分类精度。移动平均质心对齐被谨慎地设计来补偿每个小批量内分类信息的不足。
【迁移学习论文六】Learning Semantic Representations for Unsupervised Domain Adaptation论文原理及复现工作
weixin_51293984的博客
12-30 1314
这篇文章于2018年发表在ICML（International Conference on Machine Learning），作者是Shaoan Xie, Zibin Zheng, Liang Chen, Chuan Chen。以往的领域自适应方法通过对齐源域和目标域之间的全局分布统计来解决这个问题，缺点是它们忽略了样本中包含的语义信息。
迁移学习论文（五）：Learning Semantic Representations for Unsupervised Domain Adaptation论文原理及复现工作
lyy的博客
04-16 1618
目录前言原理阐述文章介绍模型结构模型总述超参数设置总结 前言 本文属于我迁移学习专栏里的一篇，该专栏用于记录本人研究生阶段相关迁移学习论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。 原理阐述 文章介绍 这篇文章于2018年发表在ICML会议，作者是Shaoan Xie、Zibin Zheng、Liang Chen、Chuan Chen。 这篇文章解决的主要问题是如何利用伪标签来进行域适应。之前的方法都忽略了样本的语义信息，比如之前的算法可
最优传输论文（二十四）：Reliable Weighted Optimal Transport for Unsupervised Domain Adaptation论文原理
lyy的博客
08-26 891
目录前言摘要1. Introduction2. Related work3. Reliable Weighted Optimal Transport3.1. Shrinking Subspace Reliability3.2. Weighted Optimal Transport3.3. Discriminative Centroid Exploitation3.4. Training4.实验4.1.设置4.2.实施细节4.3. Result and Discussion4.4.分析5. Conclusio
Learning Disentangled Semantic Representation for Domain Adaptation-IJCAI-2019文章解读
qq_40491207的博客
04-01 1889
Learning Disentangled Semantic Representation for Domain Adaptation-IJCAI-2019文章解读1. 摘要2.main contributions3. 可解耦的语义表达模型4. 理论证明详见论文5. 实验 1. 摘要 现有的大多数域适应方法无法从特征空间提取具有entangle domain information（域耦合信息）...
Asymmetric Masked Distillation for Pre-Training Small Foundation Models
最新发布
06-17
### 非对称掩码蒸馏在小型基础模型预训练中的应用 非对称掩码蒸馏（Asymmetric Masked Distillation, AMD）是一种用于优化小型基础模型预训练的技术。该技术通过引入教师-学生框架，结合掩码机制，显著提升了小型模型的性能和效率[^1]。 在多模态基础模型中，AMD 技术的核心思想是利用一个强大的教师模型生成指导信号，帮助学生模型学习更高效的特征表示。具体而言，非对称掩码蒸馏允许教师模型与学生模型在结构上存在差异，例如教师模型可以是一个大规模的多模态模型，而学生模型则是一个轻量级的小型模型。这种非对称性使得学生模型能够专注于学习特定任务的关键特征，同时保持较低的计算复杂度[^2]。 #### 技术实现 AMD 的实现通常包括以下几个关键步骤： 1. **掩码策略**：在输入数据上施加随机或规则化的掩码，以模拟真实场景中的噪声或缺失信息。这一过程有助于增强模型的鲁棒性和泛化能力。 2. **知识蒸馏**：通过最小化教师模型输出与学生模型输出之间的差异（如 KL 散度），将教师模型的知识迁移到学生模型中。 3. **目标函数设计**：结合掩码损失和蒸馏损失，构建综合的目标函数，以确保学生模型在学习过程中兼顾准确性和效率。 以下是一个简单的代码示例，展示了如何在 PyTorch 中实现非对称掩码蒸馏： ```python import torch import torch.nn as nn import torch.optim as optim # 定义教师模型和学生模型 class TeacherModel(nn.Module): def __init__(self): super(TeacherModel, self).__init__() self.fc = nn.Linear(100, 10) def forward(self, x): return self.fc(x) class StudentModel(nn.Module): def __init__(self): super(StudentModel, self).__init__() self.fc = nn.Linear(100, 10) def forward(self, x): return self.fc(x) # 初始化模型、损失函数和优化器 teacher = TeacherModel() student = StudentModel() criterion = nn.KLDivLoss() optimizer = optim.Adam(student.parameters(), lr=0.001) # 模拟数据 data = torch.randn(32, 100) mask = torch.rand(32, 100) > 0.5 # 随机生成掩码 # 前向传播 teacher_output = teacher(data) student_output = student(data * mask) # 应用掩码 # 计算损失 loss = criterion(torch.log_softmax(student_output, dim=-1), torch.softmax(teacher_output, dim=-1)) # 反向传播与优化 optimizer.zero_grad() loss.backward() optimizer.step() ``` 上述代码中，教师模型生成的输出作为指导信号，学生模型则通过应用掩码来学习更加鲁棒的特征表示。通过这种方式，小型基础模型能够在保持高效的同时，达到接近甚至超越大型模型的性能[^1]。 ### 总结 非对称掩码蒸馏技术为小型基础模型的预训练提供了一种有效的方法。通过结合掩码机制和知识蒸馏，该技术不仅提高了模型的性能，还增强了其在实际应用场景中的适用性[^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值