最优传输论文（三）：Joint distribution optimal transportation for domain adaptation论文原理

最新推荐文章于 2023-07-20 22:03:45 发布
最新推荐文章于 2023-07-20 22:03:45 发布
阅读量1k 收藏 3
点赞数 4
分类专栏： 领域自适应与最优传输 文章标签： 深度学习 最优传输 领域自适应 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41076797/article/details/116608774
版权
本文深入探讨无监督域适应问题，介绍Joint Distribution Optimal Transport（JDOT）方法，它通过最小化源域与估计目标域联合分布之间的最优运输损失来对齐分布。JDOT同时对边缘分布和条件分布进行对齐，解决了传统方法中分布支撑集不一致的问题。作者证明了JDOT与目标误差的边界相关，并提供了有效的算法，实现了在对齐过程中直接学习最佳预测函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

前言

  • 本文属于我最优传输系列里的三篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。
  • 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。

原理阐述

摘要

  • 本文讨论了无监督域自适应问题，即在没有任何标记样本的情况下，利用已知标记的源域的知识估计一个预测函数 f f f。作者的研究基于以下假设:在两个域的联合特征/标记空间分布之
了解本专栏 订阅专栏 解锁全文 超级会员免费看
最优传输论文（三十三）：Joint Partial Optimal Transport for Open Set Domain Adaptation论文原理
lyy的博客
09-08 639
文章目录前言摘要1 Introduction2 Related Work3 方法论3.1 Partial Optimal Transport 前言 文章来自2020年的IJCAI 本文是本人领域自适应与最优传输系列论文的第33篇，所有系列论文的相关代码在https://github.com/CtrlZ1/Domain-Adaptation-Algorithms，希望各位大佬们不吝点赞，给个Star哦~ 摘要 域自适应（DA）通过利用来自源域的标记数据来适应未标记的目标域，在学习好的分类器方面取得了
最优传输论文（八）：Optimal Transport for Multi-source Domain Adaptation under Target Shift论文原理
lyy的博客
05-23 1204
目录前言原理阐述介绍最优传输Basics and NotationsEntropic RegularizationDOMAIN ADAPTATION UNDER THE TARGET SHIFTJOINT CLASS PROPORTION AND OPTIMAL TRANSPORT (JCPOT)Data and Class-Based WeightingMulti-Source Domain Adaptation with JCPOT 前言 本文属于我最优传输系列里的八篇，该专栏用于记录本人研究生阶段相
【最优传输论文笔记二】（2017 NIPS）Joint distribution optimal transportation for domain adaptation
m0_60231311的博客
04-11 475
我们在本文中提出了用于域自适应的联合分布最优传输。JDOT假设存在将源域联合分布转换为目标域等效版本的转移映射。通过这种变换，可以操作特征空间和条件分布的对齐，从而能够设计出一种有效的算法，该算法同时优化和之间的耦合，以及解决传递问题的预测函数。还展示了我们方法的多功能性，可以适应几种类型的损失函数（mse、铰链）或一类假设（包括核机器或神经网络）。
Optimal Transport for Domain Adaptation
12-20
Domain adaptation is one of the most challenging tasks of modern data analytics. If the adaptation is done correctly, models built on a specific data representation become more robust when confronted to data depicting the same classes, but described by another observation system. Among the many strategies proposed, finding domain-invariant representations has shown excellent properties, in particular since it allows to train a unique classifier effective in all domains. In this paper, we propose a regularized unsupervised optimal transportation model to perform the alignment of the representations in the source and target domains. We learn a transportation plan matching both PDFs, which constrains labeled samples of the same class in the source domain to remain close during transport. This way, we exploit at the same time the labeled samples in the source and the distributions observed in both domains. Experiments on toy and challenging real visual adaptation examples show the interest of the method, that consistently outperforms state of the art approaches. In addition, numerical experiments show that our approach leads to better performances on domain invariant deep learning features and can be easily adapted to the semi-supervised case where few labeled samples are available in the target domain.
【最优传输论文笔记一】Optimal Transport for Domain Adaptation
m0_60231311的博客
03-24 2781
在本文中，描述了一种基于最优传输的新框架来解决无监督领域自适应问题。我们提出了两种正则化方案来在运输计划的估计过程中对源域中的类结构进行编码，从而强化了同一类的样本必须经历类似变换。并将这种OT正则化框架扩展到半监督域自适应情况，即目标域中几乎没有标签可用的情况。关于计算方面，建议使用条件梯度算法的修改版本，即广义条件梯度分裂，这使该方法能够扩展到真实世界的数据集。最后，我们将所提出的方法应用于合成数据集和现实世界数据集。结果表明，最优运输领域自适应方案往往优于竞争的最先进的方法。
【最优传输论文八】Optimal Transport for Multi-source Domain Adaptation under Target Shift
m0_60231311的博客
05-21 922
本文提出了一种基于最优传输(OT)的目标偏移校正算法。最初，OT解决了一个问题，即以一种最小化在它们之间移动单位质量的成本的方式对齐两个概率度量，同时保留原始的边际。最近出现的有效的OT公式允许其在数据处理中的应用，因为OT允许明确地学习将给定源pdf转换为目标样本的pdf。提出新的目标移位特定算法的动机源于这样一个事实，即许多流行的用于处理协变量移位的数据挖掘算法不能同样好地处理目标移位。
最优传输论文（二）Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation
qq_42595295的博客
12-01 1572
DeepJDOT是基于ot的将特征和标签联合的差异度量进行优化的方法，Deep的含义为使用CNN构造特征提取器g和分类器f。
joint distribution optimal transportation for domain adaptation
04-29
联合分布最优输运（joint distribution optimal transportation）是一种实现域适应的方法。域适应是指将源域的知识迁移到不同但相关的目标域中，目的是在不需要标签的情况下提高目标域的学习效果。联合分布最优输运...
顶会速递 | ICLR 2020录用论文全集
热门推荐
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6229
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
最优传输论文（四）：DeepJDOT Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation论文原理
lyy的博客
05-12 1084
目录前言原理阐述文章介绍前言模型结构Solving the optimization problem with stochastic gradients实验论证（Experiments and Results）Digit classificationOffice-HomeVisDA-2017 前言 本文属于我最优传输系列里的四篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。 原理阐述 文章介绍
最优传输（八）Hierarchical optimal transport for unsupervised domain adaptation
qq_42595295的博客
05-18 841
1.第一阶段使用wasserstein光谱聚类将m个目标域样本分组在k个聚类中，目标域可以用k个聚类结构的度量来表示，见eq(17). Wasserstein成本矩阵元素Wh,l被定义为度量uh和vl之间的2-Wasserstein距离.见eq(19),W=gamma*C, C为Ch和CL l之间的成对平方欧几里得距离的代价矩阵,gamma是uh和vl之间的正则化最优传输计划.2.根据eq（20）中的一对一匹配关系将源结构和目标结构配对之后，就要将每个类C中的源样本传输到相应簇Cl。
最优传输论文（七）Reliable Weighted Optimal Transport for Unsupervised Domain Adaptation
qq_42595295的博客
01-05 978
见前言
【论文笔记13】Differentially Private Optimal Transport: Application to Domain Adaptation, IJCAI 2019
weixin_45632492的博客
04-10 632
目录导引系列传送AbstractReference 系列传送 【Active Learning】 【论文笔记01】Learning Loss for Active Learning, CVPR 2019 【论文笔记02】Active Learning For Convolutional Neural Networks: A Core-Set Approch, ICLR 2018 【论文笔记03】Variational Adversarial Active Learning, ICCV 2019 【论文笔记0
【最优传输论文四】DeepJDOT: Deep Joint Distribution OptimalTransport for Unsupervised Domain Adaptation
m0_60231311的博客
04-23 682
在这项工作中，我们探索了一种名为DeepJDOT的解决方案来解决域转移问题：通过测量基于最优传输的联合深度表示/标签的差异，我们不仅学习源域和目标域之间对齐的新数据表示，而且同时保留分类器使用的判别信息。在JDOT中，作者提出在源中的类正则性约束下，使用离散最优传输来匹配两个域的偏移边缘分布。联合分布但是，该方法有两个缺点：1）JDOT方法规模很小，因为它必须解决n1×n2的耦合问题，其中n1和n2是要对齐的样本；
【最优传输论文十六】（2022 AAAI）Hierarchical Optimal Transport for Unsupervised Domain Adaptation
最新发布
m0_60231311的博客
07-20 650
大多数最优传输方法的共同点是它们能够通过依赖反映输入空间度量的成本函数来捕获数据的底层几何结构。然而，这些最优传输方法可以受益于不依赖于这些基本的几何信息，因为还有其他重要的结构信息没有直接从地面度量中获取，例如，由源中的类标签引起的局部一致性结构。一些方法在域自适应中的应用仅考虑了标记源域中的可用结构，通过按类标签对样本进行划分，而每个目标样本形成自己的聚类。然而，将这些目标结构直接纳入最优传输公式可以显著改善领域自适应算法的性能。
【最优传输论文笔记三】Domain Adaptation with Regularized Optimal Transport（2014 ECML）
m0_60231311的博客
04-12 774
首个使用最优传输来解决领域自适应问题，通过在源域和目标域的概率分布函数之间搜索最佳运输计划，可以估计学习样本的非线性和可逆变换。任何标准的机器学习方法都可以应用于转换集，这使得我们的方法非常通用。我们提出了一种新的优化传输算法，该算法在优化中引入了标签信息：这是通过将有效的矩阵缩放技术与非凸正则化项的优化相结合来实现的。本文为源域中的每个样本定义了一个本地运输计划，从这个意义上说，域自适应问题可以被视为要传输的所有样本的图匹配问题，其中通过将源样本映射到与目标域的边缘分布匹配的坐标来找到它们的最终坐标。
最优传输论文（一）：Domain Adaptation with Regularized Optimal Transport论文原理
lyy的博客
05-10 1242
目录前言原理阐述文章介绍Monge-Kantorovitch ProblemRegularized Optimal T ransportDomain Adaptation with Label Regularized Optimal TransportMajoration Minimization Strategy 前言 本文属于我最优传输系列里的一篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。
【资源】领域自适应相关论文、代码分享
zenRRan的博客
10-19 7277
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要20+分钟跟随小博主，每天进步一丢丢整理| 专知【导读】领域自适应（Domain Adaptation）是迁移学习（Transfe...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CtrlZ1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值