预训练模型adapter的几篇论文概述

最新推荐文章于 2025-05-02 22:11:28 发布
最新推荐文章于 2025-05-02 22:11:28 发布
阅读量4.7k 收藏 15
点赞数 5
CC 4.0 BY-SA版权
文章标签： 自然语言处理 pytorch 深度学习 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35221036/article/details/113345446

最近阅读几篇 distillation-adapter论文，要求掌握理解算法，和大家分享一下：第一篇是huggingface的adpater代码库中的位置，其中详细讲解了在transformer中加入adapter层和adapterfusion层，第二篇论文在adpater代码库中的位置中也可以找到，主要是将已经训练好的multilingual模型移到另外一种语言上，模型由三部分组成language, task, and invertible adapters组成，第三篇是使用CONTRASTIVE LEARNING来进行distillation的学习。

文章目录

1. AdapterFusion: Non-Destructive Task Composition for Transfer Learning

解决问题：解决pre-train模型的在多domain上的catastrophic forgetting和dataset balancing的问题。
related work：目前主流的pre-train模型的方法有三个：

  1. fine-tuning：对于n个任务，在每一步训练一个任务模型的时候要初始化一个层，通过学习这个层的结构来学习参数，但是这种方法在超过两种task下就会出现灾难性遗忘的问题。
  2. Multi-Task Learning (MTL)：所有task都同步学习，来学习一个大的结构可以表示所有的模型。这种方法在大量困难任务的学习时loss的设计是一个大问题。
  3. adapter：分为Single-Task Adapters (ST-A)、Multi-Task Adapters (MT-A)。本文提出，可以解决上述的两个问题。

adapter的方法：adapter位置图

最低0.47元/天 解锁文章
Warrier_98
关注
[论文笔记]Adapter turning
日积月累，天道酬勤
09-19 885
⭐ 本篇论文提出了在Transformer中注入一些适配器层(adapter layer)，然后仅微调这些适配器层和归一化层就可以达到和全量微调相似的表现，但前者仅需要微调后者0.5%-8%的参数量。并且通过大量的实验来论证了作者的观点。
预训练模型在文本风格迁移中的创新
最新发布
AI天才研究院
06-17 614
文本风格迁移是指将一段文本从源风格转换为目标风格，同时保留其核心语义内容的技术。传统的文本风格迁移方法通常依赖于规则系统或浅层机器学习模型，效果有限。随着预训练语言模型(如BERT、GPT等)的出现，这一领域迎来了革命性的变化。预训练模型为文本风格迁移带来的优势基于预训练模型的创新架构和方法实际应用案例和代码实现当前面临的挑战和未来发展方向本文首先介绍文本风格迁移的基本概念和预训练模型的相关背景，然后深入探讨基于预训练模型的创新方法，包括模型架构、训练策略和数学原理。
.Net中的设计模式——从容自若的CTO
weixin_34247299的博客
09-07 117
让我们假设这样一个场景：一年以前，Media公司开发出一套通过电脑接收广播的Radio仿真软件产品。（有这样的产品吗，能真正接收广播的软件？我表示怀疑）这个产品早已投入市场，客户已经在使用了。后来，Media公司将开发重心转移到数字媒体上。于是他们投入了大量的人力物力，最后开发出了完美的媒体播放器软件。这个播放器支持大多数媒体文件，包括音频媒体和视频媒体。该产品取得了成功，也得到了用户的好评。 ...
大模型微调“瘦身”记（一）：深入浅出Adapter Tuning系列技术
qq_54445177的博客
04-10 1072
大模型微调“瘦身”记：深入浅出Adapter Tuning系列技术
【论文速读】Adapter tuning：Parameter-Effificient Transfer Learning for NLP
weixin_43457608的博客
10-14 1210
对大型预训练模型进行微调是自然语言处理中一种有效的传递机制。然而，在存在许多下游任务的情况下，微调是参数效率较低的：每个任务都需要一个全新的模型。**作为一种替代方案，我们建议使用适配器模块进行传输。适配器模块产生一个紧凑和可扩展的模型；它们每个任务只添加一些可训练参数，可以添加新的任务而无需重新访问以前的任务。原网络的参数保持不变，产生了高度的参数共享。**为了证明适配器的有效性，我们将最近提出的BERT变压器模型转移到26个不同的文本分类任务中，包括GLUE基准测试。
论文阅读：预训练模型:过去，现在和未来 Pre-Trained Models: Past, Present and Future（上）
woshuaizuishuai的博客
05-07 1610
BERT和GPT等大规模预训练模型（PTMs）最近取得了巨大的成功，成为人工智能领域的一个里程碑。在本文中，我们深入研究了预训练的历史，特别是它与迁移学习和自我监督学习的特殊关系，以揭示预训练在人工智能发展光谱中的关键地位。此外，我们全面回顾了大规模预训练模型的最新突破。
论文笔记：Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling
weixin_44031582的博客
12-14 8666
Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling Tip-Adapter为CLIP模型添加了一个两层多层感知器(MLP)的Adapter和一个结合pre-trained features与updated features的残差连接。与CLIP-Adapter不同，Tip-Adapter不需要SGD来训练Adapter，而是从few-shot监督中构建一个query-key缓存模型，以获得Adapter的权
最新最全论文合集——预训练模型
AI_Conf的博客
03-11 384
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic 论文集地址：https:/.
预训练模型在医疗影像增强中的关键点
AI天才研究院
05-02 1038
医疗影像增强是医学图像处理中的关键环节，旨在提高影像质量、突出重要特征、降低噪声干扰，从而辅助医生做出更准确的诊断。随着深度学习技术的发展，预训练模型在这一领域展现出巨大潜力。本文旨在系统性地分析预训练模型在医疗影像增强中的关键技术和应用要点。本文首先介绍背景和基本概念，然后深入分析预训练模型在医疗影像增强中的核心技术，包括算法原理、数学模型和实际应用案例。接着讨论相关工具资源和未来发展趋势，最后提供常见问题解答和扩展阅读材料。预训练模型(Pre-trained Model)
论文阅读笔记：《自然语言处理中的预训练模型》
weixin_41089007的博客
04-08 5699
Pre-trained Models for Natural Language Processing: A Survey 写在前面： 随着2018年ELMo、BERT等模型的发布，NLP领域进入了“大力出奇迹”的时代。采用大规模语料上进行无监督预训练的深层模型，在下游任务数据上微调一下，即可达到很好的效果。曾经需要反复调参、精心设计结构的任务，现在只需简单地使用更大的预训练数据、更深层的模型便...
【LLM】优化预训练模型：参数高效微调 (PEFT) 指南
sikh_0529的博客
07-17 5732
参数高效微调（PEFT）是自然语言处理（NLP）中使用的一种技术，用于提高预训练语言模型在特定下游任务上的性能。它涉及重用预训练模型的参数并在较小的数据集上对其进行微调，与从头开始训练整个模型相比，这可以节省计算资源和时间。PEFT 通过冻结预训练模型的某些层并仅微调特定于下游任务的最后几层来实现这种效率。这样，模型就可以以更少的计算开销和更少的标记示例来适应新任务。尽管 PEFT 是一个相对新颖的概念，但自从引入迁移学习以来，更新最后一层模型已经在计算机视觉领域得到实践。
VIT Adapter【Vision Transformer Adapter for Dense Predictions】论文笔记
qq_39333636的博客
07-08 3125
cvpr2022收录文章。使用cnn提取空间先验特征，和transformers分支进行信息交融，成为新一代屠榜backbone，提升了下游任务的准确度。
《Adapter is All You Need for Tuning Visual Tasks》论文逐句详解
qazwyu的博客
04-09 1840
目前的微调方法更多是针对分类任务，在密集型任务上，微调方法与全量微调仍有较大差距。为了取代全量微调，我们提出了Mona（multi-cognitive visual adapter，多维感知视觉适配器）。
模型微调方法Adapter
m0_66890670的博客
10-15 4478
详细介绍了Adapter的设计理念、组件结构、工作机制、全模型微调的数学对比、高级数学概念、微调实例
论文阅读笔记——Adapter，AdapterFusion，AdapterDrop
Multiple_x的博客
03-18 1496
Adapter，AdapterFusion，AdapterDrop 论文阅读笔记
设计模式之适配器（Adapter）模式
qq_37160689的博客
04-16 311
一、定义 我们程序中总会出现有许多已有的功能满足现有的需求，但是无法直接使用，需要进行一些变换才能投入使用。而这种变换后的程序，就是填补“现有程序”和“所需程序”之间的差异就是适配器模式 适配器模式又被称为 “Wrapper” 模式—包装器模式，形容其像是用精美的包装纸将普通的商品变成礼物那样，帮我们把原本的东西用作其他用途的模式被称为== “包装器” 或是 “适配器”==。 == 适配器模式主要...
Adapter-适配预训练持续学习的一种技术
爱吃火锅的博客
02-11 2689
前言 长期做预训练的小伙伴，可以关注一下这个技术点即adapter，最近关于这方面的工作还挺多的，其是这样一个背景：在不遗忘以前学到知识前提下，怎么向大模型中持续性注入知识。 今天就给大家带来两篇最新的相关工作，开拓一下思路～，感兴趣的小伙伴可以去查更多相关的paper。 当然了该想法也不是特别新鲜，之前已经有很多类似的想法工作了，所以大家在看的时候一方面是学习一下其设计的思路，另一方面更重要的是学习其要解决什么问题以及可以思考的大方向，总之不要被目前的adapter研究束缚了，正如笔者在文末也给出了
【图解设计模式二】Adapter 模式
zzzz76C的博客
02-19 363
一、知识概述 Adapter 设计模式用于填补“现有程序”和”所需程序“之间的差异，即现有的程序无法直接使用，需要经过适当的变换之后才能满足需求。Adapter模式包含四种主要的角色。 Target: 为对象，负责声明所需的方法 Client: 为请求者，负责使用Target角色所声明的方法进行具体处理 Adaptee: 为被适配者，持有既定的方法 Adapter: 为适配者，包装Ad...
设计模式【7】——适配器模式（Adapter 模式）
sinat_42974726的博客
11-25 708
实际上在软件系统设计和开发中，经常会遇到：我们为了完成某项工作购买了一个第三方的库来加快开发。这就带来了一个问题：我们在应用程序中已经设计好了接口，与这个第三方提供的接口不一致，为了使得这些接口不兼容的类（不能在一起工作）可以在一起工作了，Adapter 模式提供了将一个类（第三方库）的接口转化为客户（购买使用者）希望的接口。Adapter 模式正好可以解决这种问题，相当于对接口进行包装，起到一个适配器的作用。类模式和对象模式。这里我们主要介绍类模式。
adapter-transformers从网上加载预训练模型是从huggingface吗
03-11
<think>嗯，用户的问题是关于adapter-transformers库是否从Hugging Face加载预训练模型的。首先，我需要确认adapter-transformers和Hugging Face的关系。记得adapter-transformers是基于Hugging Face的Transformers库开发的扩展，所以应该和Hugging Face的模型仓库有关联。 接下来，用户提到的引用中有说明Adapter模块的设计是为了在预训练模型基础上添加适配器，而不修改原有参数。引用2提到Adapter插入到预训练模型的每一层之后，这样可以保留原模型的能力。这说明预训练模型本身是必须加载的，而适配器是额外的模块。 然后，引用4提到Hugging Face的adapter_model.safetensors文件存储适配器的权重，而主模型参数可能还是来自Hugging Face的标准模型。因此，当使用adapter-transformers时，主模型应该还是从Hugging Face Model Hub获取的，适配器部分可能是单独保存的。 另外，用户提供的引用5中的代码示例涉及从llamafactory导入模块，这可能涉及到特定框架的使用，但核心的预训练模型加载应该还是基于Hugging Face的。需要确认adapter-transformers的文档是否明确说明其模型来源。 可能用户在使用过程中需要加载特定的预训练模型名称，比如bert-base-uncased，这些名称对应Hugging Face的模型库。当调用AutoModel.from_pretrained时，默认会从Hugging Face下载。而适配器则是通过load_adapter方法添加，可能来自本地或Hub上的适配器文件。 需要验证一下官方文档或示例代码，比如是否在加载模型时使用Hugging Face的模型标识符。例如，代码示例中是否有类似model_name = "bert-base-uncased"这样的参数，这显然指向Hugging Face的模型。 此外，引用3和5提到微调Llama模型时使用Hugging Face的方法，可能说明整个生态是围绕Hugging Face的Transformers库构建的。因此，adapter-transformers作为扩展，自然继承了这个特性，预训练模型的加载来源是Hugging Face Model Hub。 总结：adapter-transformers确实从Hugging Face加载预训练模型的主干部分，而适配器模块可能作为附加层被加载，这些适配器可以来自本地或Hub上的特定适配器文件。用户需要注意在代码中正确指定模型名称和适配器路径，确保正确加载。</think>是的，**adapter-transformers 库确实默认从 Hugging Face Model Hub 加载预训练模型的主干参数**。以下是具体说明： --- ### 1. **模型加载机制** - **主干模型来源**： adapter-transformers 是基于 Hugging Face Transformers 库开发的扩展工具，其核心模型架构（如 BERT、RoBERTa、GPT 等）的预训练权重默认通过 Hugging Face Model Hub 加载。例如： ```python from transformers import AutoModel model = AutoModel.from_pretrained("bert-base-uncased") # 从 Hugging Face 加载 BERT 模型 ``` - **适配器参数来源**： Adapter 模块的权重可以单独加载，其来源包括： - Hugging Face Hub 中已发布的适配器（例如 `AdapterHub/bert-base-uncased-pf-squad`） - 本地训练保存的适配器文件（如 `adapter_model.safetensors`）[^4] --- ### 2. **代码示例** 以下是一个典型的使用流程： ```python from adapter_transformers import AutoAdapterModel # 加载 Hugging Face 的预训练主干模型 model = AutoAdapterModel.from_pretrained("bert-base-uncased") # 从 Hugging Face Hub 加载适配器 model.load_adapter("AdapterHub/bert-base-uncased-pf-squad") # 激活适配器 model.set_active_adapters("squad") ``` --- ### 3. **关键验证点** 1. **模型名称标识**： 当使用 `from_pretrained("bert-base-uncased")` 时，模型名称与 Hugging Face Model Hub 中的标识符完全一致[^2]。 2. **文件路径关联**： adapter-transformers 会优先检查本地缓存目录（如 `~/.cache/huggingface/hub`），若未找到模型文件则自动从 Hugging Face 下载[^4]。 --- ### 4. **特殊情况说明** - **私有模型/适配器**： 如果主干模型或适配器存储在私有仓库或本地路径，需显式指定路径： ```python model = AutoAdapterModel.from_pretrained("/path/to/local_model") model.load_adapter("/path/to/local_adapter") ``` - **安全张量支持**： 适配器文件（如 `adapter_model.safetensors`）使用安全张量格式，与 Hugging Face 的生态系统兼容[^4]。 --- ### 总结 adapter-transformers 的预训练主干模型默认从 **Hugging Face Model Hub** 加载，适配器参数可来自 Hub 或本地路径。这种设计既保持了与 Transformers 库的一致性，又支持灵活的适配器管理[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值