A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions

UnknownBody

已于 2024-05-31 09:31:23 修改

阅读量195

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM Daily LLM Training 文章标签：语言模型人工智能自然语言处理

于 2024-05-30 17:46:50 首次发布

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139330730

LLM Daily 同时被 2 个专栏收录

1689 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM Training

97 篇文章

订阅专栏

本文提出了一种新的指令驱动的持续学习（InsCL）范式，用于微调大型语言模型（LLM）以适应不断变化的下游任务，同时避免灾难性遗忘。通过利用Wasserstein距离和指令信息度量（InsInfo），InsCL能够动态地回放高质量数据，提高LLM的表现。实验显示，相比于随机回放和无回放，InsCL在多个任务上表现出显著的性能提升。

本文是LLM系列文章，针对《InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning
Large Language Models with Instructions》的翻译。

摘要

指令调优有效地优化了用于下游任务的大型语言模型（LLM）。由于现实应用程序中不断变化的环境，LLM需要在不发生灾难性遗忘的情况下持续进行特定任务的适应。考虑到高昂的计算成本，基于重放的连续学习（CL）方法是LLM解决遗忘问题最简单、最广泛使用的方法。然而，传统的基于重放的方法没有完全利用指令来定制重放策略。在这项工作中，我们提出了一种新的范式，称为基于指令的持续学习（InsCL）。InsCL根据Wasserstein Distance与指令计算的任务相似性，动态回放先前的数据。此外，我们进一步引入了指令信息度量（InsInfo）来量化指令的复杂性和多样性。InsInfo表示，InsCL引导回放过程更倾向于高质量的数据。我们在16个不同训练顺序的任务上进行了广泛的实验，观察到InsCL的性能不断提高。当所有任务都经过训练后，与随机回放相比，InsCL实现了3.0的相对增益，与无回放相比，实现了27.96的相对增益。