LLM - 大语言模型的指令微调(Instruction Tuning) 概述

欢迎关注我的优快云：https://spike.blog.youkuaiyun.com/
本文地址：https://blog.youkuaiyun.com/caroline_wendy/article/details/137009993

大语言模型的指令微调(Instruction Tuning)是一种优化技术，通过在特定的数据集上进一步训练大型语言模型(LLMs)，使其能够更好地理解和遵循人类的指令。这个数据集通常由一系列的指令和相应的期望输出组成。指令微调的目的是提高模型的能力和可控性，使其在执行任务时能够更准确地响应用户的需求。

指令微调通常包含：

1. 构建指令格式数据：这些实例包含任务描述、一对输入输出以及示例(可选)。
2. 有监督微调(Supervised Finetuning, SFT)：在这些指令格式的实例上对大型语言模型进行微调。
3. 提高推理能力：通过指令微调，模型能够更好地利用其知识库，回答问