CMR Scaling Law: Predicting Critical Mixture Ratios for Continual Pre-training of Language Models

本文是LLM系列文章，针对《CMR Scaling Law: Predicting Critical Mixture Ratios for Continual
Pre

摘要

大型语言模型（LLM）在各种任务中表现出色，但由于特定领域或专有语料库有限，在专业领域的表现往往不佳。持续预训练（CPT）通过灌输新的领域特定或专有知识来增强LLM能力，同时重放通用语料库以防止灾难性遗忘。然而，一般语料库和特定领域语料库的数据混合比是启发式选择的，导致实践中的训练效率次优。在此背景下，我们试图重新审视CPT框架下LLM的缩放行为，并发现损失、混合比和训练token缩放之间的幂律关系。我们将通用和特定领域能力之间的权衡形式化，从而得到通用和领域数据的明确定义的临界混合比（CMR）。通过平衡，CMR保持了模型的一般能力，实现了所需的域转移，确保了可用资源的最高利用率。考虑到效率和有效性之间的平衡，CMR可以被视为最佳混合比。通过大量实验，我们确定了CMR的可预测性，提出了CMR缩放率，并证实了其推广性。这些发现为优化专业领域的LLM训练提供了实用的指导方针，在有效管理训练资源的同时，确保了一般和特定领域的性能。

1 引言

2 关键成果