AdaMoLE: Fine-Tuning Large Language Models with Adaptive Mixture of Low-Rank Adaptation Experts

本文是LLM系列文章，针对《AdaMoLE: Fine-Tuning Large Language Models with Adaptive Mixture of Low-Rank Adaptation Experts》的翻译。

摘要

我们介绍了 AdaMoLE，这是一种通过低秩适应 （LoRA） 专家的自适应混合来微调大型语言模型 （LLM） 的新方法。AdaMoLE 超越了采用静态 top-k 策略来激活专家的传统方法，它使用专用阈值网络动态调整激活阈值，自适应地响应不同任务的不同复杂性。通过将层中的单个 LoRA 替换为多个 LoRA 专家，并将门控功能与阈值机制集成，AdaMoLE 根据输入上下文有效地选择和激活最合适的专家。我们对各种常识性推理和自然语言处理任务的广泛评估表明，AdaMoLE 超出了基线性能。这一增强功能突出了 AdaMoLE 对 LoRA 专家的自适应选择的优势，在不相应增加专家数量的情况下提高了模型的有效性。实验验证不仅证实了 AdaMoLE 是增强 LLM 的稳健方法，而且还为自适应专家选择机制的未来研究提出了有价值的方向，有可能拓宽在不同语言处理任务中优化模型性能的范围。

1 引言

2 相关工作

3 方法

4 实验

5 模型分析

6 结论

总之，本研究提出了 AdaMoLE，这是一种将低秩适应 （LoRA） 与自适应专家混合 （MoE） 框架相结合的创新方法，标志着大型语言模型 （LLM） 微调的重大进展。通过对各种常识推理和自然语言处理 （NLP） 任务的全面测试，AdaMoLE 已被证明超越了传统基线，包括标准 LoRA 和 LoRA 专家混合