Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation

原创 已于 2023-04-03 20:58:57 修改 · 943 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #迁移学习 #深度学习

于 2023-03-28 16:40:00 首次发布
本文介绍了一种新的持续测试时间适应（CTTA）方法，受NLP中的提示学习启发，通过视觉领域提示（domain prompt）使源模型适应不断变化的未标记目标域。方法包括领域特定提示和领域无关提示，以及基于稳态的提示适应策略，以避免错误积累和严重遗忘问题。实验证明，这种方法在处理动态数据分布时优于基于模型的适应方法。

目录

Abstract

Method

Continual test time adaptation via domain prompt

 Prompt的更新机制：

Homeostasis-based prompt adapting strategy

Experiments

Analysis 

Conclusion

首先解释一下 Test-Time Adaptation：

DG（Domain generalization）假设我们有多个带标签的训练集（源域），这时候我们想让模型在另一个数据集上同样表现很好（目标域），但是在训练过程中根本不知道目标域是什么，传统DG方法就是在源域fine tune预训练模型，然后部署时不经过任何调整，因此DG的核心在于如何去利用多个源域带来的丰富信息。DG最困难的地方在于test-sample的不可知，训练时不可用，近期有一系列方法尝试假设test sample以online的形式出现，然后利用其信息增强泛化性，下表总结了test time adaptation方法与传统DA，DG方法的区别：

Fine-tune进行迁移学习 需要目标域标签来重新训练有监督损失；DA方法需要源域和目标域数据来训练跨域损失，用无标签的目标域数据在训练时调整模型。

 Test-time training方法首先联合优化源域监督损失和源域x自监督损失，然后在test期间用目标域数据的无监

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Continual Test-Time 的领域适应
NJU phd 在读。
06-24 1165
Continual Test-Time 的领域适应（CoTTA）在 CVPR 2022 上被提出，目的是在不使用任何源数据（source domain）的情况下，将源预训练模型适应于目标域（target domain）。现有的研究主要关注于处理静态 target domain 的情况。然而，在现实世界中，机器感知系统必须在不稳定且不断变化的环境中运行，target domain 的分布会随时间不断变化。现有的方法主要基于自训练和熵正则化，但它们还是可能受到这些非稳定环境的影响。
【ECCV 2022】Visual Prompt Tuning
梁瑛平的博客
09-27 1880
目前采用预训练模型的方法包括更新所有的主干参数，即完全微调。本文则介绍了视觉提示调优（VPT）作为一种有效的大型 Transformer 模型的替代方案。VPT 从有效调优大型语言模型的最新进展中获得灵感，在输入空间中只引入了少量（少于模型参数的1%）的可训练参数，同时保持模型主干冻结。对各种下游识别任务的广泛实验表明，与其他参数高效的调优协议相比，VPT获得了显著的性能提高。最重要的是，在许多情况下，VPT在跨模型容量和训练数据规模的情况下甚至优于完全微调，同时降低了每个任务的存储成本。
论文笔记：Gradient Regularized Contrastive Learning for Continual Domain Adaptation
weixin_41978493的博客
03-26 1018
论文地址：https://arxiv.org/abs/2007.12942 代码地址：尚未开源 1 Main Idea（梯度正则化） 1）令梯度不损害源域特征的判别能力，反过来提高模型对目标域的自适应能力； 2）约束梯度不提高在旧目标域上的分类损失，使得模型在旧目标域上的表现得到保持，同时对新目标域有很好的适应能力。 在本文中，作者认为保留源域特征的可分辨能力可以提高模型对不同目标域的适应能力，也即由于源域的标签是已知的，因此从源域中学到的分辨能力可以引导对所有域的适应。多任务学习即源域上的分..
DARTH: Holistic Test-time Adaptation for Multiple Object Tracking
最新发布
xiaoxu的博客
10-10 1210
我们分析了领域偏移（domain shift）对基于外观的跟踪器的影响。👉 含义：外观特征（ReID embedding）在不同场景或光照条件下变化较大，导致跨域时跟踪器性能下降。并提出了一个完整的测试时自适应（Test-Time Adaptation, TTA）框架——DARTH。👉 “holistic” 表示这是一个整体的端到端框架，不仅调节检测，还调节特征表示。
CoTTA:连续的测试时域自适应方法
zuiyishihefang的博客
11-06 2052
文章信息论文题目为《Continual Test-Time Domain Adaptation》，该文于2022年发表于Conference on Computer Vision and Pattern Recognition (CVPR)会议上。文章提出了一种持续的测试时域自适应方法（CoTTA），旨在应对非稳态和不断变化的目标领域环境，通过减少错误累积和防止灾难性遗忘，以实现源模型的长期适应。...
Continual Test-Time Domain Adaptation--论文笔记
dezwb的博客
07-03 1905
TTA的目的是在不使用任何源数据的情况下，将源预先训练的模型适应到目标域。现有的工作主要考虑目标域是静态的情况。然而，现实世界的机器感知系统运行在非静态和不断变化的环境中，其中目标域分布可能会随着时间的推移而变化。现有的方法大多基于自训练和熵正则化，可能会受到这些非平稳环境的影响。由于目标域中的分布随时间移动，伪标签变得不可靠。嘈杂的伪标签会进一步导致错误累积和灾难性的遗忘。为了解决这些问题，
Domain Adaptation via Prompt Learning
LuvLive的博客
03-06 805
Domain Adaptation via Prompt Learning
In Search of Lost Online Test-time Adaptation: A Survey--论文笔记
dezwb的博客
07-08 1539
本文介绍了在线测试时间适应(online test-time adaptation,OTTA)的全面调查，OTTA是一种专注于使机器学习模型适应批量到达时的新数据分布的新方法。尽管最近OTTA方法得到了广泛应用，但该领域仍陷入了诸如模糊设置、过时的主干网络和不一致的超参数调优等问题，这些问题混淆了真正的挑战，并使可重复性难以捉摸。为了清晰和严格的比较，我们将OTTA技术分为三个主要类别，并使用强大的视觉转换(ViT)主干对它们进行基准测试，以发现真正有效的策略。
react-decorate-props:react-decorate是一个高阶组件，可以帮助您连接className，合并样式并转发其余道具
04-30
react-decorate-props是一个，可以帮助您连接className ，合并style并转发其余的props。 在render()不再有const {className, style, ...others} = this.props 。 用法 // Instead of... class Foo extends React . ...
【AAAI2023】修饰新人：用于持续测试时域适应的视觉领域提示
深度学习与计算机视觉
04-02 648
论文标题：Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation论文链接：https://arxiv.org/abs/2212.04145代码：https://github.com/Jo-wang/Daily-Paper-Reading/blob/main/test-time/Decorate%...
Continual Test-Time Domain Adaptation
qq_37246721的博客
07-06 445
在无源域域自适应问题中，目标域的状态往往不是静止的，而是随时间发生变化。因此，常用的伪标签方法会存在较大的噪声，并带来误差积累和灾难性遗忘。题目：Continual Test-Time Domain Adaptation。解决误差积累和灾难性遗忘问题。
论文精读:Continual Test-Time Domain Adaptation(持续测试时域自适应)
L_142190687的博客
08-16 1271
本文介绍了2022年CVPR上的CoTTA论文，针对动态目标域下的持续测试时自适应问题。传统方法在长期适应中会出现错误累积和灾难性遗忘。CoTTA通过权重平均和增强平均生成高质量伪标签，并采用随机恢复机制保留源知识。实验表明，在CIFAR10/100-C、ImageNet-C分类任务和Cityscapes→ACDC分割任务上，CoTTA显著优于其他方法。该方法无需源数据，可部署于任何预训练模型，有效解决了动态环境下的自适应难题。
Test-time adaptation & Unsupervised Domain Adaptation
qq_37246721的博客
03-30 2067
无监督域自适应论文阅读笔记
Contrastive Test-Time Adaptation
black_and_white_girl的博客
10-15 1184
Contrastive Test-Time Adaptation 是 CVPR2022 论文Test-time adaptation是在target数据上进行领域自适应的方法，而且没有source数据参与。这篇论文有代码，是对比学习和SHOT的融合。self-learning 和 SHOT 的融合，接下来需要详细看看。
干货！迈向鲁棒的测试时间适应
AITIME_HY的博客
08-08 1617
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！通过自监督学习进行测试时间训练（TTT）是一种解决分布变化的新兴范式。尽管取得了令人鼓舞的结果，目前尚不清楚这种方法何时有效或失败。在这项工作中，我们首先深入研究了这类方法的局限性，发现存在严重分布变化的情况下，TTT可能会恶化而不是改善模型性能。为了解决这个问题，我们引入了一种利用离线特征总结和在线矩匹配的测试时...
Autoencoder based self-supervised test-time adaptation for medical image analysis
qq_41322802的博客
08-09 618
1.作者 主要是 约翰霍普金斯大学和美国国家老龄问题研究所，国家卫生研究所合作完成的 发表与MIA 2.创新与目的 目的：是为了在domain adaption 上实现创新 创新：提出了Task model（T 分割模型） ，a set of autoencoder （AEs 相似度测量），a set of Adaptors（As transform test image and features to be similar to the source.） T 和AEs 就是在 source domain
增量学习中的测试时自适应（Test-Time Adaptation, TTA）
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
04-16 1617
在增量学习中，模型需要不断适应新任务，同时保留之前任务的知识。然而，一个常见的问题是模型在测试阶段可能遇到与训练阶段不同的数据分布。测试时自适应（Test-Time Adaptation, TTA）是一种在测试阶段动态调整模型的技术，能够有效提高模型对新数据分布的适应能力。本文将详细介绍测试时自适应的概念、实现方法、应用场景以及需要注意的事项，并通过代码示例展示如何在实际中应用测试时自适应技术。测试时自适应（Test-Time Adaptation, TTA）是一种在测试阶段动态调整模型的技术。
Test-time Adaptation论文合集
如果想成为中心，那么就到中心去吧。
03-18 5719
文章目录2022On-the-Fly Test-time Adaptation for Medical Image Segmentation 2022 On-the-Fly Test-time Adaptation for Medical Image Segmentation code: https://github.com/jeya-maria-jose/on-the-fly-adaptation 摘要： 基于深度学习的医学成像解决方案的一个主要问题是，当一个模型在不同于其训练的数据分布上进行测试时，性能
react-decorate-props: 高效管理React组件className和样式
标题中的 "react-decorate-props" 指的是一种特定的高阶组件，它的作用是帮助开发者在 React 应用中装饰和传递组件的属性（props）。这里的装饰主要指的是对 className 和 style 属性的处理，以及将其它非装饰性质的...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值