Hyperparameter Optimization for Large Language Model Instruction-Tuning

本文是LLM系列文章，针对《Hyperparameter Optimization for Large Language Model Instruction-Tuning》的翻译。

摘要

大型语言模型（LLM）的微调使它们最近在自然语言处理应用程序中取得了里程碑式的成就。越来越大的LLM的出现为更有效的微调方法铺平了道路。其中，低秩自适应（LoRA）方法保持预训练LLM的大部分权重冻结，同时引入权重矩阵的低秩分解，从而仅能够调整网络的很小部分。使用LoRA微调的模型在下游任务上的性能在很大程度上依赖于一组超参数，包括分解的秩。在这项工作中，我们通过两种主要的黑盒优化（BBO）技术研究了这些超参数的选择。我们检查了对作为黑盒的预训练LLM进行微调和验证的整个过程，并使用NOMAD算法有效地探索超参数空间，从而提高了调整模型的性能和人为调整。

引言

指令调整大语言模型

超参数优化

参数设置

参数结果

结论

使用黑盒优化算法的超参数优化提高了微调LLM在下游任务和人工评估方面的性能。特别是，最好的模型比具有默认微调参数的模型更好。此外，对于所选择的下游任务，NOMAD获得的最佳候选模型优于NNI-TPE获得的模型。
实验表明，验证损失与下游任务得分并不完全一致。作为未来的工作，我们的目标是开发一种高效而稳健的方法，以获得单一的最佳模型。这可以通过指导黑盒