Investigating Continual Pretraining in Large Language Models: Insights and Implications

最新推荐文章于 2025-11-24 16:27:57 发布

UnknownBody

最新推荐文章于 2025-11-24 16:27:57 发布

阅读量213

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM Daily LLM Training 文章标签：语言模型自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138604393

LLM Daily 同时被 2 个专栏收录

1689 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM Training

97 篇文章

订阅专栏

本文深入探讨了大型语言模型（LLM）的持续学习（CL），尤其是领域自适应预训练，以增强跨领域知识转移。研究发现，语义相似的领域序列能提升模型的专业化，随机领域顺序有助于知识积累，而持续预训练可以提高下游任务表现，但也可能导致知识饱和或模型性能下降。此外，CL在不同模型规模上的效果各异，提示需要重新考虑CL的缩放定律。

本文是LLM系列文章，针对《Investigating Continual Pretraining in Large Language Models: Insights and Implications》的翻译。

摘要

本文研究了大型语言模型（LLM）中持续学习（CL）的发展领域，重点是制定高效和可持续的训练策略。我们的主要重点是持续的领域自适应预训练，这一过程旨在使LLM能够集成来自各个领域的新信息，同时保留先前学习的知识，并在不依赖特定领域识别的情况下增强跨领域知识转移。与以前的研究不同，以前的研究大多集中在有限的任务或领域选择上，主要旨在解决遗忘问题，我们的研究评估了LLM在实际场景中对不断变化的数据景观的适应性和能力。为此，我们引入了一个新的基准，旨在衡量LLM对这些不断发展的数据环境的适应性，为评估提供了一个全面的框架。我们研究了模型大小对学习效率和遗忘的影响，以及新兴领域的进展和相似性如何影响这些模型中的知识转移。我们的研究结果揭示了几个关键的见解：（i）当领域序列显示出语义相似性时，与独立的微调相比，连续预训练使LLM能够更好地专注于当前领域，（ii）跨不同领域的训练增强了向后和向前的知识转移，以及（iii）较小的模型对连续预训练特别敏感，显示出最显著的遗忘率和学习率。我们认为，我们的研究标志着向建立更现实的LLM CL研究基准的转变，并有可能在指导该领域未来研究方向方面发挥关键作用。