Mixture-of-Domain-Adapters: Decoupling and Injecting Domain Knowledge to Pre-trained Language Models-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133862329

本文提出了一种名为MixDA的混合适配器方法，用于预训练语言模型的领域适应。MixDA将Transformer的前馈网络解耦，使用特定领域的适配器注入新知识，同时保留预训练的旧领域知识。通过两阶段的适配器调优策略，MixDA在多种任务和领域中表现出色，包括GLUE、ChemProt、RCT、IMDB、Amazon和KILT。实验证明其可靠性、可扩展性和效率。

本文是LLM系列文章，针对《Mixture-of-Domain-Adapters: Decoupling and Injecting Domain Knowledge to Pre-trained Language Models’ Memories》的翻译。

摘要

预训练的语言模型(plm)在理解通用领域的文本时表现出出色的能力，同时在特定领域中挣扎。尽管在大型领域特定语料库上继续进行预训练是有效的，但调优领域上的所有参数是昂贵的。在本文中，我们研究了仅通过调整几个参数是否可以有效和高效地适应plm。具体地说，我们将Transformer体系结构的前馈网络(ffn)解耦为两部分:原始的预训练的ffn，用于维护旧的领域知识;我们新的特定于领域的适配器，用于并行注入特定于领域的知识。然后，我们采用混合适配器门来动态融合来自不同领域适配器的知识。我们提出的混合域适配器(MixDA)采用两阶段适配器调优策略，该策略利用未标记数据和已标记数据来帮助域适应:i)未标记数据上的特定于域的适配器;其次是ii)标记数据上的特定于任务的适配器。MixDA可以无缝地插入到预训练-微调范式中，我们的实验表明，MixDA在域内任务(GLUE)、域外任务(ChemProt、RCT、IMDB、Amazon)和知识密集型任务(KILT)上取得了卓越的性能。进一步的分析证明了该方法的可靠性、可扩展性和高效性。