余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。

SFT使模型能够遵循输入指令并根据预定义模板进行思考和响应。如上图，、 和 是用于通知模型在推理过程中响应角色的角色标签。后面的内容表示模型需要遵循的指令，而 后面的内容传达了当前用户对模型的需求。后面的内容代表模型的预期输出，也可以定义为模型预测的标签。在监督微调期间，模型根据 和 中的内容预测 后面的内容，然后将其与标签进行比较以计算损失函数。标记作为结束标记，以防止模型在后续推理阶段偏离思路，从而减少推理时间。

text2sql任务是将自然语言问题转换为SQL查询。使用大模型来进行 sql 生成的方式也越来越常见。根据大模型用于文本到SQL生成的方式，text2sql可以分为两种场景：零样本/少样本提示和微调。：在零样本场景中，不提供示例；而在少样本场景中，提供少量输入输出示例以提示大模型。形式上，给定一个由θ参数化的LLM，问题qi​和k个示例（k≥0），目标是最大化从大型语言模型生成正确SQLsi​si​max​PLLMθ​​si​∣σqi​M∣。