Domain Adaptation via Prompt Learning

已于 2023-04-17 17:02:29 修改
阅读量733 收藏
点赞数
分类专栏： Prompt in CV 文章标签： 深度学习 计算机视觉 迁移学习
于 2023-03-06 21:24:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LuvLive/article/details/129371037
版权
本文提出DAPL，一种使用预训练的CLIP模型和prompt学习进行无监督域适应的方法。DAPL通过学习域无关和域特定的上下文，避免了特征对齐导致的语义信息损失。对比学习策略确保了图像和文本的域、类信息在特征空间的对齐。实验证明DAPL在多个数据集上优于传统方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文地址：https://arxiv.org/abs/2202.06687

Abstract

本文提出的DAPL ( Domain Adaptation via Prompt Learning ) 使用了预训练的vision-language模型（来自于CLIP）并且只优化了很少的参数。其主要思想是将域信息嵌入到prompt中（prompt是一种用自然语言生成的表示形式）然后用于执行分类。该域信息仅由来自同一域的图像共享，从而根据每个域动态调整分类器。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation
LuvLive的博客
03-28 862
Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation
【ECCV 2022】Visual Prompt Tuning
梁瑛平的博客
09-27 1775
目前采用预训练模型的方法包括更新所有的主干参数，即完全微调。本文则介绍了视觉提示调优（VPT）作为一种有效的大型 Transformer 模型的替代方案。VPT 从有效调优大型语言模型的最新进展中获得灵感，在输入空间中只引入了少量（少于模型参数的1%）的可训练参数，同时保持模型主干冻结。对各种下游识别任务的广泛实验表明，与其他参数高效的调优协议相比，VPT获得了显著的性能提高。最重要的是，在许多情况下，VPT在跨模型容量和训练数据规模的情况下甚至优于完全微调，同时降低了每个任务的存储成本。
Domain Adaptation via Prompt Learning论文解读
yeeeeeeeeeeees的博客
05-29 1709
摘要部分 无监督域自适应（UDA）旨在将从注释良好的源域学习到的模型自适应到只给出未标记样本的目标域。当前的UDA方法通过对齐源和目标特征空间来学习域不变特征。这种对齐是由统计差异最小化或对抗性训练等约束条件强加的。然而，这些约束可能导致语义特征结构的扭曲和类的可辨别性的丧失。在本文中，我们介绍了一种新的UDA提示学习范式（prompt learning paradigm），即通过提示学习进行域适应（DAPL）。与以前的工作相比，我们的方法使用预训练的视觉语言模型，并且只优化了很少的参数。其主要思想是..
【prompt一】Domain Adaptation via Prompt Learning
m0_60231311的博客
12-23 3191
当前的UDA方法通过对齐源和目标特征空间来学习域不变特征。这种对齐是由诸如统计差异最小化或对抗性训练等约束施加的。然而，这些约束可能导致语义特征结构的扭曲和类可辨别性的丧失。在本文中，引入了一种新的UDA提示学习范式，即通过提示学习进行领域适应(DAPL)。使用了预训练的视觉语言模型，并且只优化了很少的参数。主要思想是将领域信息嵌入到提示中，这是一种由自然语言生成的表示形式，然后用于执行分类。该域信息仅由来自同一域的图像共享，从而根据每个域动态调整分类器。
(论文解读)Domain Adaptation via Prompt Learning
m0_54248968的博客
08-25 1685
无监督域适应( UDA )旨在将从带有标签的源域数据中学习到的模型适应到未标注的目标域数据集。现有的UDA方法通过对齐源域和目标域特征空间来学习领域不变特征。这种对齐是通过约束实现的，例如统计差异最小化或对抗学习。然而，这些约束会导致语义特征结构的扭曲和类别判别性的丧失。本文提出一种新的UDA提示学习范式，命名为基于提示学习的领域自适应( Domain Adaptation via Prompt Learning，DAPL )。
Domain Adaptation Vs. Prompt-Tuning：能否用域自适应解决大模型提示学习问题？
AITIME_HY的博客
03-03 1718
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！作者简介李江梦，中国科学院软件研究所天基综合信息系统全国重点实验室助理研究员论文简介今天介绍的是被机器学习领域顶级学术会议ICLR 2024接收的论文：BayesPrompt: Prompting Large-Scale Pre-Trained Language Models on Few-shot Inference via Debias...
深度学习进行领域适应(Domain Adaptation)开山之作
zenRRan的博客
05-28 1836
来自：SimpleAI论文标题：Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Ap...
2021李宏毅机器学习（5）：Domain Adaptation
niexinyu0026的博客
02-18 1280
2021李宏毅机器学习（5）：Domain Adaptation1 Domain Shift2 Domain Adaptation2.1 Basic Idea——寻找 Feature Extractor2.2 Domain Adversarial Training2.2.1 Feature Extractor2.2.2 Domain Classifier2.2.3 Limitation2.2.4 类对齐问题3 其它情况3.1 Target Domain 极少Data3.2 对 Target Domain 一
domain adaptation 之 domain adversarial learning （一）
钉马掌的小铁匠的博客
08-07 1957
通过对抗性学习学习域之间的不变性是域适应中的一个策略。如何去设计一个新方法对域进行适应被简化为三个问题： 是否选择基于生成或者辨别的网络； 是否共享网络权重； 选择哪一个对抗学习目标。 论文[1]中介绍了一种域自适应方法，该方法使用了生成对抗网络，共享了网络权重，并选择GRL (gradient reversal layer)学习域之间的不变性特征。接下来对论文[1]进行介绍。 该论文的目的是对显微镜图像(microscopy images, MSI) 进行分类，但是显微镜图像是没有标注的，但是整张切片
Prompt 学习和微调综述 (Prompt Learning and Tuning)
张伟的专栏
04-02 708
在做 objective engineering 的过程中, 研究者发现让下游任务的目标与预训练的目标对齐是有好的. 因此下游任务通过引入文本提示符 (textual prompt), 把原来的任务目标重构为与预训练模型一致的填空题.情感预测任务.输入: "I missed the bus today.I felt so___." 其中 "I felt so" 就是提示词 (prompt), 然后使用 LM 用一个表示情感的词填空.翻译任务.输入: "English。
【AAAI2023】修饰新人：用于持续测试时域适应的视觉领域提示
深度学习与计算机视觉
04-02 538
论文标题：Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation论文链接：https://arxiv.org/abs/2212.04145代码：https://github.com/Jo-wang/Daily-Paper-Reading/blob/main/test-time/Decorate%...
综述！Prompt 学习和微调(Prompt Learning and Tuning)
Kaiyuan_sjtu的博客
04-12 807
作者丨Jarvis73整理丨极市平台https://zhuanlan.zhihu.com/p/601905339大家好，这里是 NewBeeNLP。Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星. 得益于全局的注意力机制和并行化的训练, 基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系, 同时在大规模自然语言数据集上并行...
多任务学习的新招数：提示学习，让模型学习效率翻倍！更加安全！
2401_85375186的博客
09-02 1657
研究成果，这些论文、来源、论文的代码都整理好了，希望能给各位的学术研究提供新的思路。
万字详解提示学习（Prompt Learning ）和微调 （Prompt Tuning）
Kaiyuan_sjtu的博客
01-05 8490
作者：爱吃牛油果的璐璐，北京大学电子与通信工程硕士后台留言『交流』，加入 NewBee讨论组前言Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星。得益于全局的注意力机制和并行化的训练，基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系，同时在大规模自然语言数据集上并行训练成为可能。但由于自然语言任务种类繁多，且任务之间的差别不...
整理了一波Prompt Learning的文章，看完这些就都懂了
zenRRan的博客
09-10 1699
每天给你送来NLP技术干货！来自：AI自然语言处理与知识图谱大家好，我是大林，这两天看了下前段时间如火如荼的Prompt，看了一些文章和问答，大概了解了，整理如下，看完这些，收藏，基本都了解了。关注我，了解更多前沿。以下截图均来自文章内部----------------------------------------1、近代自然语言处理技术发展的“第四范式” - CMU 博士后研究员刘鹏飞http...
2021 Domain Adaptation（李宏毅
linyuxi_loretta的博客
11-02 581
在前面介绍的模型中，一般我们都会假设训练资料和测试资料符合相同的分布。而。（域的转变）Domain Adaptation领域自适应学习，就是将在A domain上学到的东西应用到B domain上，这个技术 也可以看作是transfer learning的其中一个环节（在A任务上学到的技能可以用到B任务上）。Domain Shift,其实有很多种不同的类型：模型输入的资料的分布有变化（源域黑白，目标域彩色）输出的分布也可能有变化（源域均匀分布，目标域极端分布）
AAAI 2023大奖出炉！北大等国内机构斩获杰出学生论文！
阿木寺的博客
02-11 3746
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群转载自：机器之心刚刚，AAAI 2023 大会公布了今年的杰出论文奖、杰出学生论文奖等重要奖项。AAAI 全称为国际先进人工智能协会 (Association for the Advancement of Artificial Intelligence)，是人工智能和机器学习领域的顶级会议，据最...
北大等国内机构获杰出学生论文，AAAI 2023各大奖项出炉
深度学习技术前沿
02-12 526
来源：机器之心AAAI 全称为国际先进人工智能协会 (Association for the Advancement of Artificial Intelligence)，是人工智能和机器学习领域的顶级会议，据最新中国计算机学会推荐国际学术会议和期刊目录，AAAI 为人工智能领域的 A 类会议。AAAI2023 共接收 8777 篇投稿，接收论文 1721 篇，接受率仅为 19.6%。AAAI-...
adapter微调变体
最新发布
02-20
### Adapter Fine-Tuning Variants in Deep Learning Adapter fine-tuning represents a parameter-efficient approach to adapting large pre-trained models for specific tasks or domains without retraining all model parameters from scratch. This method involves inserting small neural network modules called adapters between existing layers of the pretrained model[^2]. These adapters are then trained while keeping most original weights frozen. #### Implementation Methods In practice, adapter insertion typically occurs at every layer or selected layers within transformer-based architectures such as BERT, RoBERTa, etc. Each adapter consists of two linear transformations with nonlinear activation functions applied in-between: ```python class Adapter(nn.Module): def __init__(self, input_dim=768, hidden_dim=128): super(Adapter, self).__init__() self.linear1 = nn.Linear(input_dim, hidden_dim) self.relu = nn.ReLU() self.linear2 = nn.Linear(hidden_dim, input_dim) def forward(self, x): z = self.linear1(x) z = self.relu(z) output = self.linear2(z) return output + x # Residual connection ``` The above code snippet demonstrates how an adapter module can be implemented using PyTorch. The residual connection ensures that information flows through unchanged when necessary. For efficient training and inference, specialized libraries like Hugging Face's `transformers` provide built-in support for adding adapters via simple API calls: ```python from transformers import BertModel, AdapterConfig model = BertModel.from_pretrained('bert-base-uncased') config = AdapterConfig(mh_adapter=True, output_adapter=True, reduction_factor=16, non_linearity="relu") model.add_adapter("task_name", config=config) model.train_adapter("task_name") ``` This example shows how one might add an adapter configuration specifically designed for task adaptation on top of a base language model. #### Use Cases Adapters have been successfully utilized across various NLP applications where domain-specific knowledge transfer is required but full finetuning resources may not always be available. Some common scenarios include: - **Domain Adaptation**: Transferring general-purpose LLMs into specialized fields (e.g., medical literature analysis). - **Multilingual Transfer Learning**: Enhancing cross-language capabilities by introducing adapters tailored towards individual languages. - **Personalization Systems**: Customizing recommendation engines based on user preferences without affecting core system performance. By leveraging these lightweight modifications, developers gain flexibility in customizing powerful yet resource-intensive models according to their needs efficiently. --related questions-- 1. What are some best practices for selecting hyperparameters during adapter tuning? 2. Can you explain more about memory efficiency improvements brought by adapter techniques compared to traditional fine-tuning approaches? 3. Are there any notable differences between applying adapters versus other forms of prompt engineering strategies? 4. In what ways do adapters contribute to reducing carbon footprint associated with AI computations?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值