Selecting Large Language Model to Fine-tune via Rectified Scaling Law

本文是LLM系列文章，针对《Selecting Large Language Model to Fine-tune via Rectified Scaling Law》的翻译。

摘要

LLM不断增长的生态系统在众多选择中选择最合适的预训练模型进行微调方面提出了挑战。在资源有限的情况下，对所有模型进行微调并在之后进行选择是不现实的。在这项工作中，我们将这种资源约束的选择任务公式化为预测微调性能，并说明其与缩放定律的自然联系。与预训练不同，我们发现微调标度曲线不仅包括众所周知的“功率阶段”，还包括以前未观察到的“预功率阶段”。我们还解释了为什么现有的标度定律在理论和经验上都未能捕捉到这种相变现象。为了解决这一问题，我们将“预先学习的数据大小”的概念引入到我们修正的缩放定律中，它克服了理论上的局限性，更适合实验结果。通过利用我们的定律，我们提出了一种新的LLM选择算法，该算法以数百倍的资源消耗来选择接近最优的模型，而其他方法可能提供负相关的选择。

1 引言

2 用于微调的LLM选择框架

3 微调的标度律分析

4 LLM选择

5 相关工作及展望

6 局限性

7 结论

本文主要关注两个领域：探索LLM微调的比例律和解决选择LLM进行有效微调的挑战。我们揭示了传统标度律的不足，并