Enhancing Large Language Model Fine-Tuning with Style-Aligned Response Adjustments

本文是LLM系列文章，针对《I Learn Better If You Speak My Language: Enhancing Large Language Model Fine-Tuning with Style-Aligned Response Adjustments》的翻译。

摘要

为特定任务使用小数据集对大型语言模型（LLM）进行微调是一个广泛而复杂的挑战。对有限数量的例子进行过拟合的可能性可能会对模型的泛化和保留其原始技能的能力产生负面影响。我们的研究探讨了微调过程中真实实况反应风格的影响。我们发现，将基本事实反应风格与LLM的固有风格相匹配，可以获得更好的学习结果。基于这一见解，我们开发了一种方法，使用这些调整后的响应作为训练目标，最小限度地改变LLM预先存在的响应，以纠正错误。这项技术能够根据模型的本地响应风格进行精确校正，保护模型的核心能力，从而避免过度拟合。我们的研究结果表明，这种方法不仅提高了LLM特定任务的准确性，而且至关重要地保持了其原始能力和有效性。

1 引言

2 相关工作

3 响应风格在LLM微调中的作用

4 最小变更方法

5 实验

6 实验结果分析

7 结论和讨论

我们的实验发现，对于某些任务，构建训练数据的每种方法都有其特定的优点和缺点。通过我