SFT看这一篇就够了！万字长文：监督微调（Supervised Fine-Tuning, SFT）技术全解析【从理论到实战】

已于 2025-04-10 22:33:52 修改
阅读量443 收藏
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 大模型理论和实战 DeepSeek技术解析和实战 文章标签： 人工智能 深度学习 机器学习
于 2025-03-04 10:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zengzizi/article/details/146003136

大家好，我是大 F，深耕AI算法十余年，互联网大厂技术岗。
知行合一，不写水文，喜欢可关注，分享AI算法干货、技术心得。
更多文章可关注《大模型理论和实战》、《DeepSeek技术解析和实战》，一起探索技术的无限可能！

【数据集篇】更多阅读：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GPT3 SFT微调中文1.3B参数量文本生成模型
强化学习曾小健
06-14 2212
训练数据包括中文维基百科、网络上公开文本数据。
万字长文 | 如何让你的大模型“开口”说话：从ASR到端到端语音大模型的进化之旅
南七小僧的学海无涯
12-03 845
回顾过去，ASR、NLP和TTS三大技术携手走过了六十年的风雨历程；展望未来，端到端语音大模型正引领我们进入一个人机对话新时代。在这个过程中，每一步都是对未知领域的探索，每一次突破都凝聚着无数科研人员的心血。那么，在您看来，未来的语音技术将会给我们带来哪些意想不到的变化呢？欢迎在评论区留下您的见解！那么，小伙伴们，你们认为未来的语音技术还会带来哪些变革？欢迎在评论区分享看法和想法！
使用大型语言模型进行监督微调（SFT）从想法到实现的工作过程中理解SFT的工作原理...
数智笔记
02-27 1万+
监督微调（SFT）是LLM对齐过程中的第一步训练。实际上，它非常简单。首先，我们需要整理一组高质量的LLM输出数据集 ——这些基本上只是LLM正确行为的示例；请参见下文。然后，我们直接在这些示例上对模型进行微调。这里，“监督”微调的方面来自于我们正在收集一个模型应该模仿的示例数据集。然后，在微调过程中，模型学习复制这些示例的风格。**与下一个标记预测的关系。**有趣的是，SFT与语言模型预训练并没有太大的区别 -预训练和SFT都使用下一个标记预测作为它们的基本训练目标！
深度解析大语言模型的指令微调（SFT）：定义、流程与价值边界
最新发布
AI大模型的博客
10-04 1915
深度解析大语言模型的指令微调（SFT）：定义、流程与价值边界
【自然语言处理】微调 Fine-Tuning 各种经典方法的概念汇总
溢流眼泪的博客
02-06 6312
（1）一些概念源自LLM（Chatgpt）和网络（百度/知乎等），笔者进行了初步检查。（2）由于其中的各种知识比较琐碎，为了形成较为结构化的知识体系，且使用最简单的、几乎无公式的介绍，故作此博客。（3）着重为自然语言处理领域NLP的，CV领域的不是很详细讲述了【机器学习与自然语言处理】预训练 Pre-Training 各种经典方法的概念汇总（4）比较简单或者过于的概念就不介绍了，默认大家都学会了。不然要写的太多了。比如损失，损失函数，神经网络几个概念，不认识的话单独先去学一下。
SFT微调
qq_38423732的博客
03-12 1339
微调可以强化预训练模型在特定任务上的表现，例如情感分类，尽管预训练模型已有一定能力，但微调可进一步优化其效果。：微调可以让模型学习特定领域的新知识，如自我认知类问题（如“你是谁？”“你是谁创造的？”），确保其回答符合预期。：微调可降低模型生成虚假或不相关信息的概率，提高回答的可靠性。：尽管每次生成的内容不同，微调可确保输出质量稳定，避免结果参差不齐。：微调可使模型在敏感问题上适当拒答，增强安全性和合规性。：通过优化和使用较小参数模型，减少响应时间，提高运行效率。
大模型微调：SFT（Supervised Fine-Tuning）主要方式、SFT-训练参数如何调整
老皮的博客
09-10 4075
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
SFT(模型微调)
xhw79的专栏
03-30 1508
然而由于不同能力项的数据的来源、领域、分布，以及数据规模的不同，这些因素都将对模型性能产生剧烈的影响。与RQ2中的设置对齐，我们从数学，代码，与过滤后的通用能力数据集中抽样不同比例的训练数据（1, 1/4, 1/16, 1/64, 1/256），并按照相应的比例直接混合后来微调LLaMA。我们提出的DMT策略通过在第一阶段微调特定能力数据，在第二阶段微调通用数据+少量的特定能力数据，可以在保留通用能力的同时，极大程度地挽救大模型对特定能力的灾难性遗忘，这为SFT的数据组成问题提供了一个简单易行的训练策略。
SFT（Supervised Fine-Tuning，监督微调）
mayaohao的博客
07-27 898
微调（Fine-Tuning）是一种模型训练策略，指在预训练模型（如 BERT、GPT、LLaMA 等）的基础上，使用特定任务的数据集进一步训练模型，使其适配下游任务的过程。预训练模型已通过海量通用数据学习了语言规律、知识结构等基础能力，微调则通过少量任务相关数据 “调整” 模型参数，让模型专注于特定任务（如文本分类、翻译、问答等），避免从零开始训练的高成本。SFT（监督微调）是微调的一种具体实现方式，强调微调过程采用 “监督学习” 模式 —— 即使用带有明确标签的数据集。
【人工智能时代】- 万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
xiaoli8748的专栏
09-21 1569
对于语言的代表性和毒性的分析，Llama-2使用了相应的工具和数据集，以了解预训练数据的特征，为模型的安全调整提供指导。Llama-1各个参数量版本都在超过1T token的语料上进行了预训训练，其中，最大的65B参数的模型在2,048张A100 80G GPU上训练了近21天，并在大多数基准测试中超越了具有175B参数的GPT-3。在Llama-2和Llama-2-Chat的微调中，采用了自回归损失函数，这是一种在生成模型中常见的方法，模型预测下一个token时会考虑到之前的所有token。
万字长文详解DeepSeek-R1模型工作原理
2501_90895676的博客
07-05 842
以往的研究通常依赖大量监督数据来提升模型性能。DeepSeek证明了即使不使用监督微调作为冷启动，通过大规模强化学习依然可以显著提升模型的推理能力。此外，适量冷启动数据的引入可以进一步提高性能。
SFT 监督微调
modi000的博客
08-08 1021
在目标数据集上训练目标模型时，将从头训练到输出层，其余层的参数都基于源模型的参数微调得到。监督式微调能够利用预训练模型的参数和结构，避免从头开始训练模型，从而加速模型的训练过程，并且能够提高模型在目标任务上的表现。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。其次，由于预训练模型的参数和结构对微调后的模型性能有很大影响，因此选择合适的预训练模型也很重要。评估： 使用目标任务的测试集对微调后的模型进行评估，得到模型在目标任务上的性能指标。
什么是SFT（监督微调，Supervised Fine-Tuning）
热门推荐
keyboard专栏
07-01 3万+
定义训练过程，包括损失函数、优化器和训练步骤。
大模型微调： SFT 经验分享
lyy2017175913的博客
09-10 1262
微调作为一种技术手段，是在已具备广泛知识基础的大型预训练语言模型上，利用针对性的数据集实施额外的训练过程，旨在使模型更精准地契合特定任务需求或深入某一专业领域。微调的核心目标在于实现知识的精细化灌输与指令系统的精确匹配。大模型的SFT（Supervised Fine-Tuning）方式主要包括以下几种：1.全参数微调（Full Parameter Fine Tuning）：全参数微调涉及对模型的所有权重进行调整，以使其完全适应特定领域或任务。
揭秘监督微调（SFT）：语言模型性能跃升的秘密武器！
Code1994的博客
12-19 1423
大型语言模型（LLMs）的训练通常分为多个阶段，包括预训练和后续的微调阶段。虽然预训练成本高昂（通常需要数百万美元的计算资源），但相比之下，微调一个LLM或通过上下文学习进行适配的成本要低得多，仅需几百美元甚至更少。随着高质量的预训练模型（如 MPT、Falcon 或 LLAMA-2）的广泛可用，并且许多可以免费甚至商业化使用，我们能够通过在特定任务上微调这些模型，快速构建功能强大的应用。这种方法不仅经济高效，还显著降低了开发复杂AI系统的门槛。在人工智能研究的最新进展中，和。
一文详尽之SFT（监督微调）！
python123456_的博客
02-04 2859
结语在大模型浪潮初期，我和我的前辈曾经有过一段对话。我：这工作（某个方向的 sft）交给我合适吗，我能胜任吗？前辈：这工作谁都能做。我：那你为啥选我来做？前辈：这不是因为我认识你，跟你熟悉嘛。我：……前辈：你做不做，不做有的是人想做，不行我招个实习生来做。我：我做我做，我当然做。
大模型LLM之SFT微调总结
lq_fly_pig的博客
05-09 8018
SFT的主要是使用于领域相关能力的增强，如果通过大模型通用能力，例如embedding、prompt提取、Lang Chain等知识库的形式可以解决的，没有必要再进行SFT微调通用大模型泛化性好，精度不够，SFT后的模型领域体验更佳，两者可能是并行存在较好SFT中仅使用领域数据，会导致通用能力下降以及安全相关回复能力的下降甚至丢失，因此需要人工梳理，增加数据的多样性的同时并把握好SFT数据的质量，质量非常重要SFT不要训练较多轮次，
fine-tuning实战
03-02
### 关于Fine-Tuning的实际操作案例或教程 #### 一、准备环境与数据集 为了实现有效的监督式微调(Supervised Fine-Tuning)，首先需要准备好相应的开发环境以及目标领域内的标注数据集。例如，在自然语言处理(NLP)场景下，可以采用Hugging Face Transformers库来加载预训练模型，并选取GLUE benchmark中的某个子任务作为下游任务的数据源[^3]。 ```bash pip install transformers datasets torch ``` #### 二、加载预训练模型及Tokenizer 接着，基于所选框架（如PyTorch），实例化一个已经过大规模语料预先训练过的Transformer架构模型及其配套的分词器(tokenizer)[^1]。 ```python from transformers import BertForSequenceClassification, BertTokenizerFast model_name = 'bert-base-uncased' tokenizer = BertTokenizerFast.from_pretrained(model_name) model = BertForSequenceClassification.from_pretrained(model_name) ``` #### 三、构建Dataset并定义Collate Function 针对具体应用场景定制化的`Dataset`类用于读取本地文件或者在线API获取到的数据；同时编写collator函数负责将每批次样本转换成适合喂给神经网络的形式，比如填充至相同长度、转tensor等操作[^4]。 ```python import os from datasets import load_dataset dataset = load_dataset('glue', 'mrpc') def collate_fn(batch): texts = [item['sentence1'] + '[SEP]' + item['sentence2'] for item in batch] labels = [int(item['label']) for item in batch] encodings = tokenizer(texts, truncation=True, padding='max_length', max_length=128, return_tensors="pt") return {**encodings, 'labels': torch.tensor(labels)} ``` #### 四、设置Trainer API进行SFT 最后一步就是配置好优化算法(optimizer)、损失函数(loss function)等相关超参数后启动训练过程。这里推荐使用Transformers内置的`Trainer`接口简化流程管理，包括但不限于自动保存checkpoint、评估指标计算等功能[^2]。 ```python from transformers import Trainer, TrainingArguments training_args = TrainingArguments( output_dir='./results', num_train_epochs=3, per_device_train_batch_size=16, per_device_eval_batch_size=64, warmup_steps=500, weight_decay=0.01, logging_dir='./logs', ) trainer = Trainer( model=model, args=training_args, train_dataset=dataset["train"], eval_dataset=dataset["validation"], data_collator=collate_fn, ) trainer.train() ``` 通过上述步骤完成了一次完整的监督式微调实践演练，这不仅有助于加深理解理论概念，更能积累宝贵的项目经验，为后续深入研究打下坚实的基础。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大F的智能小课

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值