Continual Training of Language Models for Few-Shot Learning

本文是LLM系列文章，针对《Continual Training of Language Models for Few-Shot Learning》的翻译。

摘要

最近关于应用大型语言模型（LM）的工作在许多NLP应用程序中取得了令人印象深刻的性能。使用未标记的领域语料库调整或后训练LM可以为该领域中的最终任务产生更好的性能。本文提出了通过用一系列未标记的领域语料库对LM进行增量后训练来不断扩展LM的问题，以在不忘记其先前技能的情况下扩展其知识。目标是改进这些领域中的小样本末端任务学习。由此产生的系统被称为CPT（持续后训练），据我们所知，这是第一个持续后训练系统。实验结果验证了其有效性。

1 引言