Continual Training of Language Models for Few-Shot Learning

本文是LLM系列文章，针对《Continual Training of Language Models for Few-Shot Learning》的翻译。

摘要

最近关于应用大型语言模型（LM）的工作在许多NLP应用程序中取得了令人印象深刻的性能。使用未标记的领域语料库调整或后训练LM可以为该领域中的最终任务产生更好的性能。本文提出了通过用一系列未标记的领域语料库对LM进行增量后训练来不断扩展LM的问题，以在不忘记其先前技能的情况下扩展其知识。目标是改进这些领域中的小样本末端任务学习。由此产生的系统被称为CPT（持续后训练），据我们所知，这是第一个持续后训练系统。实验结果验证了其有效性。

1 引言

2 提出的CPT系统

3 实验

4 结论

本文提出使用未标记的领域语料库连续地对具有一系列领域的LM进行后训练。还提出了一种有效的方法（CPT）。来自任何后期训练域的最终任务都可以对生成的LM进行微调。实验结果证明了CPT的有效性。

5 局限性