ConPET: Continual Parameter-Efficient Tuning for Large Language Models

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量813

点赞数

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133741807

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文介绍了一种名为ConPET的方法，旨在解决大型语言模型在持续学习中的挑战，如高计算成本和遗忘问题。ConPET包括静态和动态两种版本，分别通过参数有效调整和动态模块选择来降低调优成本，缓解过拟合和遗忘。实验证明ConPET能显著减少可调参数规模并提升性能。

本文是LLM系列文章，针对《ConPET: Continual Parameter-Efficient Tuning for Large Language Models》的翻译。

摘要

持续学习需要不断调整模型以适应新出现的任务，同时尽量减少对旧任务的灾难性遗忘。由于高计算成本、内存消耗和遗忘问题，这对于具有全参数调优的大型语言模型(llm)来说是极具挑战性的。受参数有效调整(PET)成功的启发，我们提出了连续参数有效调整(ConPET)，这是一种用于具有任务数无关训练复杂度的llm的持续任务自适应的可推广范例。ConPET包括两个不同应用场景的版本。首先，静态ConPET可以通过PET和动态重播策略，将原来为相对较小的模型设计的持续学习方法适应于llm，大大降低了调优成本，缓解了过度拟合和遗忘问题。此外，为了保持可扩展性，Dynamic ConPET为不同的任务采用单独的PET模块，并采用PET模块选择器进行动态优化选择。在我们广泛的实验中，静态ConPET的适应性帮助多种以前的方法将可调参数的规模减少了3000倍以上，并在五个较小的基准上超过pet基线至少5个点，而动态ConPET在最大的数据集上获得优势。代码和数据集可在https://github.com/Raincleared-Song/ConPET上获得。