本文探讨了在资源有限的情况下，如何利用修正的缩放定律选择最佳的大型语言模型（LLM）进行微调。研究发现微调过程中的标度曲线存在‘预功率阶段’，这是现有标度定律未涵盖的。通过引入‘预先学习的数据大小’，提出的修正定律能更好地预测微调性能。由此，作者提出了一种新算法，以较低成本选择接近最优的LLM，提高了微调效率。
本文是LLM系列文章，针对《Selecting Large Language Model to Fine-tune via Rectified Scaling Law》的翻译。
选择大型语言模型通过校正比例律进行微调
摘要
LLM不断增长的生态系统在众多选择中选择最合适的预训练模型进行微调方面提出了挑战。在资源有限的情况下，对所有模型进行微调并在之后进行选择是不现实的。在这项工作中，我们将这种资源约束的选择任务公式化为预测微调性能，并说明其与缩放定律的自然联系。与预训练不同，我们发现微调标度曲线不仅包括众所周知的“功率阶段”，还包括以前未观察到的“预功率阶段”。我们还解释了为什么现有的标度定律在理论和经验上都未能捕捉到这种相变现象。为了解决这一问题，我们将“预先学习的数据大小”的概念引入到我们修正的缩放定律中，它克服了理论上的局限性，更适合实验结果。通过利用我们的定律，我们提出了一种新的LLM选择算法，该算法以数百倍的资源消耗来选择接近最优的模型，而其他方法可能提供负相关的选择。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
