深入解析adapter-transformers项目：如何为模型添加适配器模块

深入解析adapter-transformers项目：如何为模型添加适配器模块

【免费下载链接】adapters 项目地址: https://gitcode.com/gh_mirrors/adap/adapters

前言

在自然语言处理领域，预训练语言模型已成为主流技术方案。然而，这些模型通常参数量巨大，直接微调会消耗大量计算资源。adapter-transformers项目通过引入轻量级的适配器模块，提供了一种高效的模型微调替代方案。本文将详细介绍如何为现有模型架构添加适配器支持。

适配器核心设计理念

在开始具体实现前，我们需要理解adapter-transformers项目的两个核心设计原则：

1. 无缝集成原则：适配器应该能够与现有模型类无缝集成。一旦某个模型架构支持适配器，该架构下的所有模型类都应该能够使用适配器功能。

2. 最小化代码复制原则：项目大量使用Python混入类(mixins)来为模型添加适配器支持。只有在混入类无法满足需求时，才会复制并修改原有函数。

关键文件结构

要为特定模型架构添加适配器支持，需要在src/adapters/models/<model_type>/目录下创建或修改四个关键文件。我们以BERT模型为例说明：

1. 混入类文件(mixin_bert.py)：包含需要修改的各个类的混入实现。例如，要为BertSelfAttention类添加LoRA和Prefix Tuning支持，就需要创建BertSelfAttentionAdaptersMixin。

2. 模型实现文件(modeling_bert.py)：对于无法通过混入类充分定制的类，需要直接修改原始代码。这些类会被复制到这个文件中并进行修改。

3. 适配器模型文件(adapter_model.py)：定义适配器模型类，支持灵活添加和切换不同类型的预测头。

4. 初始化文件(init.py)：定义Python的导入结构。

详细实现步骤

第一步：创建基础文件结构

首先需要为目标模型架构创建基础目录和文件结构：

• 创建src/adapters/models/<model_type>/目录
• 在该目录下创建四个文件：mixin_<model_type>.py、modeling_<model_type>.py、adapter_model.py和__init__.py

第二步：实现混入类

在混入类文件中，需要为每个需要修改的类创建相应的混入类：

1. 确定需要修改的类：思考在哪里插入LoRA、Prefix Tuning和瓶颈适配器(bottleneck adapters)。可以参考类似模型的实现。

2. 重用现有混入类：许多模型的混入类可以重用。例如，BERT派生的多种模型层都可以使用BertLayerAdaptersMixin。

3. 支持Prefix Tuning：需要在相应的注意力层中添加对PrefixTuningLayer模块的前向调用。

4. 添加瓶颈层调用：确保在适当的位置添加bottleneck_layer_forward()调用。

5. 基础模型混入类：基础模型类(如BertModel)的混入类应继承自ModelBaseAdaptersMixin，并尽可能继承EmbeddingAdaptersMixin和/或InvertibleAdaptersMixin。这个混入类至少需要实现iter_layers()方法。

第三步：处理需要复制的函数

对于无法通过混入类实现所需行为的类：

1. 在modeling_<model_type>.py中创建新类，命名为<class>WithAdapters，继承自相应的混入类和原始类。

2. 复制需要修改的函数到新类中并进行修改。例如，要支持prefix tuning，需要修改BertSelfAttention的forward方法。

3. 如果复制并修改了模块的forward方法，确保在模块的init_adapters()方法中调用adapters.utils.patch_forward()。

第四步：配置模型混入映射

对于没有复制到modeling_<model_type>.py中的混入类，需要在src/adapters/models/__init__.py文件的MODEL_MIXIN_MAPPING中添加混入类/类的组合。

第五步：创建适配器模型

1. 在adapter_model.py中实现<model_type>AdapterModel类，继承自ModelWithFlexibleHeadsAdaptersMixin和<model_type>PreTrainedModel。

2. 在模型类中添加适合该模型架构的预测头方法。

3. 将<model_type>AdapterModel添加到src/adapters/models/auto/adapter_model.py中的ADAPTER_MODEL_MAPPING_NAMES映射和src/adapters/__init__.py中。

4. 在src/adapters/models/<model_type>/__init__.py中定义要添加到Python导入结构的类。

第六步：适配配置类

在src/adapters/wrappers/configuration.py中适配配置类以满足适配器的需求。确保配置类提供以下属性：

• num_attention_heads
• hidden_size
• hidden_dropout_prob
• attention_probs_dropout_prob

如果模型配置不提供这些属性，需要在CONFIG_CLASS_KEYS_MAPPING中添加相应的映射。

可选实现功能

1. 并行适配器推理：通过Parallel组合块支持并行适配器推理。

2. 预测头映射：为架构现有的(静态)预测头提供到适配器灵活头的映射。

测试策略

为确保适配器实现正确，需要添加两类测试：

1. 适配器功能测试：在tests/目录下添加test_<model_type>.py，测试适配器的添加、移除、激活等功能。

2. 适配器模型测试：在tests/models/目录下添加test_<model_type>.py，专门测试<model_type>AdapterModel类。

文档编写

1. 在docs/classes/models/目录下添加<model_type>.rst文档文件，确保包含<model_type>AdapterModel的自动文档。

2. 在docs/model_overview.md的模型表格中添加新行，列出新模型实现的所有方法。

实践验证

为确保新适配器实现正常工作，建议：

1. 训练一些示例适配器，并与完整模型微调结果进行比较。

2. 选择适合展示新模型架构的任务进行训练(如BERT的GLUE基准测试，BART的摘要任务)。

3. 将训练好的适配器上传到适配器中心，供社区使用。

通过以上步骤，开发者可以系统地为新模型架构添加适配器支持，从而充分利用adapter-transformers项目提供的轻量级微调能力。

【免费下载链接】adapters 项目地址: https://gitcode.com/gh_mirrors/adap/adapters