2023-CVPR-Patch-Mix Transformer for Unsupervised Domain Adaptation: A Game Perspective

已于 2024-07-09 20:46:25 修改
阅读量1.2k 收藏 9
点赞数 25
CC 4.0 BY-SA版权
分类专栏： Deepfake Detection unsupervised domain adaptation 文章标签： transformer 深度学习 人工智能
于 2024-02-23 14:14:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37246721/article/details/136209338
该研究针对深度学习中无监督域适应问题，提出Patch-Mix Transformer策略，通过构建中间域缓和源域与目标域的差异。通过混合patch与标签，使用交叉熵损失衡量域差异，并设计最小-最大策略确保特征提取器在不同域中保持不变性。研究利用注意力分数减少背景干扰，并在源域和目标域上进行特征对齐，以实现更有效的域适应。

一、研究背景

  1. 通过类别级对齐并生成伪标签可减轻域差异，常用的类别级对齐手段有度量学习、对抗性学习、最优传输。
  2. 交叉注意力可用于域对齐，但目标域伪标签的质量对交叉注意力的影响极大，而域差异极大的情况下难以生成高质量伪标签。

二、研究目标
通过构建中间域来平滑地连接源域和目标域。

三、研究动机

  1. 相对于直接对齐源域、目标域，缓解二者与中间域的差异也可以促进域对齐。
  2. 在不存在域差异的情况下，特征混合等同于标签混合，因此可以用混合特征与混合标签之间的交叉熵损失来衡量域差异。

四、技术路线
思路：
当域对齐时，混合patch等同于混合标签
构建中间域数据，令混合patch的预测结果接近标签
构建最大最小策略，令特征提取器与分类器在中间域数据混合效果不佳时仍能提取到域不变特征。
在这里插入图片描述

  1. PatchMix：
    (1)分块混合图片与标签（目标域伪标签）
    在这里插入图片描述
    (2)用注意力分数
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Patch-Mix Transformer for Unsupervised Domain Adaptation: A GamePerspective
LuvLive的博客
06-29 709
Patch-Mix Transformer for Unsupervised Domain Adaptation: A Game Perspective
CVPR2023最新论文 (含语义分割、扩散模型、多模态、预训练、MAE等方向)
AI_ayuan的博客
03-06 1万+
2023 年 2 月 28 日凌晨，CVPR 2023 顶会论文接收结果出炉！CVPR 2023 收录的工作中 " 扩散模型、多模态、预训练、MAE " 相关工作的数量会显著增长。
【域适应十三】2023-CVPR Patch-Mix Transformer for Unsupervised Domain Adaptation: A GamePerspective
m0_60231311的博客
11-20 1061
最近，很多工作致力于利用视觉转换器(ViT)来完成具有挑战性的无监督域适应(UDA)任务。它们通常采用ViT中的Cross Attention进行直接的域对齐（CDTrans）。然而，由于Cross Attention的性能高度依赖于目标样本的伪标签质量，当域间隙较大时，域对齐的效果就会降低。
TVT_Transferable Vision Transformer for Unsupervised Domain Adaptation
LuvLive的博客
02-15 680
TVT的PPT
mix_transformer_demo
AliceH1226的博客
02-01 761
mix_transformer_demo
Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation——CVPR2021
m0_47180208的博客
07-05 2617
无监督域适应的跨域梯度差异最小化摘要引言相关工作本文提出的方法UDA与双分类器对抗性学习最小化跨域梯度差异目标样本的自监督学习整体目标和优化程序实验结果 摘要 以前的对抗性学习方法仅重点关注两个不同分类器的输出之间的相似性。然而，输出的相似性不能保证目标样本的分类的准确性，即使两个分类器之间的差异很小，目标样本也可能与错误类别匹配。在本文中，我们提出了一种跨域梯度差异最小化（CGDM）方法，该方法明确地最小化了源样本和目标样本产生的梯度的差异。为了计算目标样本的梯度信息，我们通过基于聚类的自我监督学习进一步
CVPR24_Domain-Agnostic Mutual Prompting for Unsupervised Domain Adaptation
weixin_48907099的博客
04-01 2473
传统的无监督域自适应（UDA）旨在最小化域之间的分布差异，但忽略了从数据中获取丰富语义的潜力，并且难以处理复杂的域偏移。利用大规模预训练的VLMs的知识可以进行更有导向性的适应。现有方法通常是分别学习文本提示以嵌入源域/目标域的语义，并在每个域内进行分类，限制了跨域知识迁移的能力。此外，仅提示语言分支缺乏动态适应两种模态的灵活性。
【医学图像分割】 MIXED Transformer 、DS-TransUNet、Swin-Unet
乐亦亦乐的博客
11-14 1503
U-MixFormer:用于高效语义分割的类unet结构的混合注意力Transformer
Scabbards_的博客
12-20 4411
作者提出了一种新的基于U-Net结构的Transformer解码器U-MixFormer。作者的方法通过利用编码器和解码器阶段之间的横向连接作为注意力模块的特征 Query ，除了依赖跳接的传统方式。此外，作者还创新地将来自不同编码器和解码器阶段的层次特征图混合，形成一个统一的表示形式，用于Key和Value，从而产生作者独特的_mix-attention_模块。感觉还是很不错的，未来可期！
GroupMixFormer：基于Group-Mix注意力的视觉Transformer
AI浩
12-15 2231
视觉转换器（ViTs）已被证明可以通过建模长程依赖关系来增强视觉识别，这种建模使用多头自注意力（MHSA），通常将其表述为查询-键-值计算。然而，从查询和键生成的注意力图只能捕获单个粒度上的令牌到令牌的相关性。在本文中，我们认为自注意力应该有一个更全面的机制来捕获令牌和令牌组（即多个相邻的令牌）之间的相关性，以获得更高的表示能力。
patchmix
whaosoft143ai的博客
06-29 507
利用对比学习损失（最常见的 InfoNCE loss），最大化正样本对之间的 cosine 相似度，并最小化负样本对之间的 cosine 相似度，以抽取外观无关的图像表征 （appearance-invariant representation），从而理解同一图像在不同数据增强下的语义一致性，实现无监督条件下的图像语义表征的抽取。受到上述观察的启发，通过混合多个图像的 Patch，形成新的混合图像，以人为构造混合图像和多个图像之间的相似性关系，实现无监督条件下的图像间复杂相似性关系的模拟 whaosoft
mix_transformer demo 没有写原因只写了killed程序就停了
AliceH1226的博客
01-04 361
mix_transformer killed 降低输入大小解决问题
ICLR2022《CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation》
weixin_43994864的博客
03-07 2602
论文链接：https://arxiv.org/pdf/2109.06165.pdf 代码链接：https://github.com/CDTrans/CDTrans 1. 动机 无监督域适应(Unsupervised domain adaptive, UDA)是一种将知识从有标记的源域转移到不同的无标记目标域的方法。现有的UDA方法大多集中于学习领域不变的特征表示，无论是从领域级别还是类别级别，使用基于卷积神经网络(CNNs)的框架。基于类别级别的UDA的一个基本问题是目标域中的样本会产生伪标签，这些伪标签.
CVPR 2022 | Transformer再屠榜！南大提出MixFormer：端到端目标跟踪新网络
阿木寺的博客
03-23 6617
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：王利民 |已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/485189978本文介绍一下我们在单目标跟踪(VOT)领域的新工作MixFormer——基于 transformer 的简洁的端到端模型。MixFormer打破了传统的跟踪范式，通过模板...
MixFormer步骤流程概述
dhdhhy的博客
05-22 1944
参考图 Stage1 1、 输入：模板，在线模板，搜索三组图像 2、为每个输入添加位置编码 （实际上是nn.Conv2d( 通道3->64, 卷积核大小(7, 7), 步长(4, 4), 填充(2, 2)）的卷积操作，然后归一化） 3、模板，在线模板和搜索做拼接（以组和通道做高宽，以原始的（w，h）拉伸作为拼接的通道） 4，然后进入block 4.1、Norm归一化 4.2、进入Att模块 4.2.1、 ...
Transformer：SegFormer个人总结
目前涉及领域：目标检测，语义分割以及数字图像处理
05-27 2万+
Segformer针对语义分割任务，专门设计出一系列MixTransformer（B0-B5）的主干网络，用于提取多尺度特征，同时解码器使用参数量较小的MLP构成，在取得优异的效果同时，极大的减少了计算复杂度。
Vision Transformer 与 Mix Vision Transformer 对比：探索视觉领域的变革力量
最新发布
weixin_42010722的博客
03-05 1976
近年来，Transformer 架构在自然语言处理领域取得巨大成功后，迅速蔓延至计算机视觉领域，催生出一系列优秀的模型。Vision Transformer（ViT）作为将 Transformer 引入视觉任务的先驱，为图像理解带来了全新的思路。而 Mix Vision Transformer（MiT）则在 ViT 的基础上进一步发展，针对视觉任务的特点进行了优化。在微调时，分类头则是一个简单的线性层，将图像表示映射到具体的类别上进行分类。，把它分割成固定大小的补丁，每个补丁的大小为。是可学习的分类嵌入，
CVPR 2023 接收结果出炉！再创历史新高！录用2360篇！（附10篇最新论文）
热门推荐
阿木寺的博客
02-28 3万+
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信技术交流群2023 年 2 月 28 日凌晨，CVPR 2023 顶会论文接收结果出炉！这次没有先放出论文 ID List，而是直接 email 通知作者（朋友圈好友纷纷晒截图，报喜讯~你被刷屏了没？！）。CVPR 2023 主委会官方发布这次论文接收数据：有效投稿 9155 篇（比 CVPR ...
CVPR 2023 | 一文看尽12篇Best Paper候选（附合集）
06-14 6826
CVPR 2023 Best Paper
cvpr 2019之迁移学习:contrastive adaptation network for unsupervised domain a
01-28
CVPR 2019中发表了一篇题为“迁移学习:无监督领域自适应的对比适应网络（Contrastive Adaptation Network for Unsupervised Domain Adaptation）”的论文。这篇论文主要介绍了一种用于无监督领域自适应的对比适应网络。 迁移学习是指将从一个源领域学到的知识应用到一个目标领域的任务中。在无监督领域自适应中，源领域和目标领域的标签信息是不可用的，因此算法需要通过从源领域到目标领域的无监督样本对齐来实现知识迁移。 该论文提出的对比适应网络（Contrastive Adaptation Network，CAN）的目标是通过优化源领域上的特征表示，使其能够适应目标领域的特征分布。CAN的关键思想是通过对比损失来对源领域和目标领域的特征进行匹配。 具体地说，CAN首先通过一个共享的特征提取器来提取源领域和目标领域的特征表示。然后，通过对比损失函数来测量源领域和目标领域的特征之间的差异。对比损失函数的目标是使源领域和目标领域的特征在特定的度量空间中更加接近。最后，CAN通过最小化对比损失来优化特征提取器，以使源领域的特征能够适应目标领域。 该论文还对CAN进行了实验验证。实验结果表明，与其他无监督领域自适应方法相比，CAN在多个图像分类任务上取得了更好的性能，证明了其有效性和优越性。 综上所述，这篇CVPR 2019论文介绍了一种用于无监督领域自适应的对比适应网络，通过对源领域和目标领域的特征进行对比学习，使得源领域的特征能够适应目标领域。该方法在实验中展现了较好的性能，有望在无监督领域自适应任务中发挥重要作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二苏旧局吖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值