使用 Unsloth 高效微调 Llama 3.1

最新发布的 Llama 3.1 系列模型展现出惊人性能表现，显著缩小了闭源模型与开源权重模型之间的差距。相比直接使用 GPT-4o 和 Claude 3.5 这类固定参数的通用 LLMs，针对具体应用场景微调 Llama 3.1 能以更低成本实现更优性能与定制化效果。

 

 本文将全面概述监督式微调技术。我们将通过对比提示工程来阐明其适用场景，详细分析主流技术方案的优缺点，并介绍 LoRA 超参数、存储格式和对话模板等核心概念。

🔧 Supervised Fine-Tuning

监督式微调(SFT)是改进和定制预训练 LLM 的核心方法。该方法通过在指令-答案组成的小规模数据集上重新训练基础模型，将原始文本预测模型转化为能遵循指令、解答问题的智能助手。SFT 不仅能提升模型整体表现，还可注入新知识或适配特定任务领域。经过微调的模型可进一步选择性地进行偏好对齐（