LLM 预训练|SFT监督微调|推理

深度解析：LLM预训练与SFT微调中的交叉熵损失与推理过程
最新推荐文章于 2025-10-16 21:00:00 发布
原创 最新推荐文章于 2025-10-16 21:00:00 发布 · 2.5k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

文章目录

LLM 预训练|SFT监督微调|推理

交叉熵损失

熵（Entropy）是信息论中的一个核心概念，它量化了一个随机变量的不确定性或信息内容。交叉熵（Cross Entropy）进一步发展了这个概念，用于衡量两个概率分布之间的差异。
L = − 1 N ∑ i = 1 N y i , c log ⁡ P ( y ^ i , c ) L = -\frac{1}{N} \sum_{i=1}^{N} y_{i,c} \log P(\hat{y}_{i,c}) L=−N1​

最低0.47元/天 解锁文章
【LLM】大模型SFT技术总结（数据|训练|评估）
发现问题，并解决问题，批判性思维
11-04 6546
# 一、背景篇 ## 1. Special Token pretrain 阶段完全没见过的 token，在sft 阶段会被赋予全新的语义。主要用于标注对话的角色：user、assistant、system 这些。 此外，special_token 可以用来“构造知识”，比如"喜欢"这种知识一定是 sft 阶段才会见到的，可以剔除掉 pretrain 先验知识的影响，用来验证 sft 的训练情况，比如会不会过拟合。 我默认大家都知道怎么用 special_token 去拼 prompt，如果不熟悉，看下
BERT模型—2.BERT模型预训练与微调
热门推荐
柳杰的博客
07-21 2万+
文章目录引言一、预训练语言模型1.为什么要进行预训练？ 引言   本节将按照思维导图逐步了解BERT语言模型（基于transformer的网络结构）。 一、预训练语言模型   大规模的预训练语言模型的模型参数量呈几何倍数的增长趋势。下面我们了解BERT预训练的原理。 1.为什么要进行预训练？   基于词向量的预训练方式并不是在BERT中首次出现。 ...
[LLM] 大模型基础｜预训练｜有监督微调SFT | 推理
摩登都市天空---专栏
03-18 1万+
向量来屏蔽不希望计算loss的部分，下面就是数据构造的一个示意：做的事情就是拼接prompt和answer，并在answer两侧添加一个开始和结束的符号，算一下prompt/instruction的长度，以及后面需要pad的长度，然后生成一个mask向量，answer部分为1，其他部分为0。，也就是transformer(X)的维度还是(1,10,768)，接下来就是基于它来进行预测了，因为要预测哪个词，词的可能情况就是词表的大小，所以做的就是一个。通常LLM的预训练是无监督的，但微调过程往往是有监督的。
监督微调（SFT）入门：从理论到动手实践
最新发布
qq_51229257的博客
10-16 2035
SFT 是给大模型“上课”的过程。简单来说，就是用少量高质量的“提示（Prompt）-响应（Response）”数据集，对预训练好的大模型进行定向优化。预训练数据量巨大（万亿级），目标是学习通用语言规律；SFT 数据量小（几千到上亿），目标是学习特定任务（如数学解题、代码生成）或规范模型行为。训练快、成本低，能快速让模型掌握基础指令能力。SFT 是 LLM 从“通用语言理解”走向“指令遵循”的关键桥梁。通过的实践，我们完成了 SFT 的理论认知、环境准备、数据加载、参数配置、模型训练和效果验证。
深度学习模型训练和推理的三个主要步骤：预训练、微调和推理
靡不有初，鲜克有终
04-01 719
这张图通过视觉化的方式展示了深度学习模型从预训练到微调再到推理的完整流程，帮助理解模型是如何从数据中学习并应用于实际场景的。- 通过预训练，模型获得了一个通用的表示能力，可以作为后续任务的基础。- **微调**：模型在小规模标注数据上优化，适应特定任务。- **预训练**：模型在大规模未标注数据上学习通用表示。### **1. 预训练（Pre-training）**推理是模型与用户交互的阶段，使用训练好的模型生成响应。### **2. 微调（Fine-tuning）**
一文彻底搞懂Fine-tuning - 预训练和微调（Pre-training vs Fine-tuning）
机器学习社区
08-04 2455
这种方式更加关注于模型参数层面的调整，根据是否调整全部参数，可以细分为全面微调（Full Fine-tuning）和部分/参数高效微调（Parameter-Efficient Fine-tuning, PEFT）。
大模型训练全解析：预训练、微调、强化学习，一步到位！
python12345678_的博客
03-18 1265
2025年初，随着DeepSeek的迅速走红，公众对LLM（大语言模型）的兴趣急剧上升。许多人被LLM展现出的近乎魔法的能力所吸引。然而，这些看似神奇的模型背后究竟隐藏着什么秘密？接下来，我们将深入探讨LLM的构建、训练和微调过程，揭示它们如何从基础模型演变为我们今天所使用的强大AI系统。这篇文章是我一直想写的，如果你有时间，它绝对值得一读。：我们将介绍LLM的基础知识，涵盖从预训练到后训练的整个过程，探讨神经网络的工作原理、幻觉现象（Hallucinations）以及模型的推理机制。
LLM预训练与SFT数据配比调研
AIBigModel的博客
10-14 1514
Pile数据集包含24%的网络数据，9%维基百科，4%Github等。（这个百分比，是按照Tokens数统计划分的）目前还不清楚每个领域是如何影响LM的预训练效果以及下游任务表现。Pile是人工选择的配比，PaLM和GLaM(2021年的工作)是依赖下游任务来选择数据配比的。DoReMi的目标是寻找一个数据配比，在不知道下游任务的情况下，在所有下游上表现都很好。提出excess loss超额损失的概念，代表 参考模型（以平均混比方式训练）和 混比模型（以特定混比数据训练）的loss差额。
LLM大模型指令监督微调SFT教程（二）
kogo2019的博客
01-13 951
本文主要讲解如何通过命令行完成对大模型的指令监督微调
超越两阶段训练：LLM推理的合作SFT与RL 翻译
09-28
尽管常规做法会将监督微调（SFT）用作强化学习的预热阶段，但这种分离式两阶段方法限制了 SFT 与 RL 之间的交互，进而制约了整体效果。 本研究提出了一种用于推理模型训练的新方法 ——BRIDGE，该方法通过双层优化...
一文搞懂：大模型为什么要设计成预训练和微调两个阶段？
2401_85373691的博客
01-13 1843
我们知道在训练大模型时与传统 AI 表现出显著的不同–大模型训练分为预训练和微调的阶段，那么为什么会分为两个阶段呢？笔者认为主要出于两个目的：提升大模型泛化能力，降低大模型训练成本。具体原因请见下文。
大模型基础：PT预训练，SFT有监督微调 基础知识
A-Itfuture的博客
01-18 6480
记住进入transfomer前后数据的维度不会发生变化，把transfomer当作一个黑盒，也就是transformer(X)的维度还是（1，10，768），接下来就是基于它来进行预测了，因为要预测哪个词，词的可能情况就是词表的大小，所以做的就是一个分类任务，预测下一个token是词表中的哪一个（词表中的每一个词当作一个类别）。现在模型的输入的维度为(1,10)，第一维为batch_size，然后经过embedding层后变为(1,10,768)，这里假设embedding的维度为768。
漫画趣说：大模型的“成长之路”——预训练、后训练、微调
AI前沿技术的分享！
04-08 721
预训练就是用大量的通用数据集先训练模型，让它掌握基础知识和技能（通用语言能力和世界常识，比如刚发布的Llama 4在200种语言上进行预训练）。后训练是指在预训练完成后的进一步训练阶段，目的在于让模型更好地适应实际的特定任务或应用场景。微调是针对特定任务（修电脑）的训练，数据量小但很精准、具体，老司机会把他的具体修理经验交给你，让你的知识更接地气。
大模型LLM之SFT微调总结
lq_fly_pig的博客
05-09 8017
SFT的主要是使用于领域相关能力的增强，如果通过大模型通用能力，例如embedding、prompt提取、Lang Chain等知识库的形式可以解决的，没有必要再进行SFT微调通用大模型泛化性好，精度不够，SFT后的模型领域体验更佳，两者可能是并行存在较好SFT中仅使用领域数据，会导致通用能力下降以及安全相关回复能力的下降甚至丢失，因此需要人工梳理，增加数据的多样性的同时并把握好SFT数据的质量，质量非常重要SFT不要训练较多轮次，
SFT训练数据该如何获得
wlxsp的博客
12-25 721
• 通过让ChatGPT基于给定指令生成大量训练数据，并根据需求对数据进行调整，确保任务的多样性和挑战性。• 研究表明，基于指令的数据集能够有效提升大语言模型（LLM）在多种任务上的表现。• ChatGPT作为模型评估的“自我评判者”，提升了评估过程的灵活性与精准度。：在200万条数据的基础上，增加数据集能继续提升性能，但效果递减。生成指令数据集的方法，以及不同规模的数据集在不同任务上的效果。：200万数据的提升效果有限，数据集扩大不会带来显著的改进。（基于指令的微调）成为了NLP领域的热点。
大模型「训练」与「微调」概念详解【6000字长文】
AI全栈 和 IT 编程相关分享
06-12 1万+
1、大模型预训练与微调的基本流程2、预训练、训练、后期预训练、微调的区别3、大模型训练与微调的一些概念，如：Post-pretrain、SFT、RLHF、模型对齐、Lora、Q-Lora、大模型量化、微调指标、微调参数、大模型评测指标在大模型的预训练与微调过程中，我们通常面临如何告诉模型想要什么答案和不想要什么答案的问题（后者往往被大家忽略）。本节将详细阐述大模型预训练与微调的流程，包括预训练、微调的两个阶段（监督式微调SFT和对齐阶段）以及在实际操作中可能遇到的问题和解决方法。总结来说，
【LLM数据篇】预训练数据集+指令生成sft数据集
发现问题，并解决问题，批判性思维
08-20 1万+
在《Aligning Large Language Models with Human: A Survey》综述中对LLM数据分类为典型的人工标注数据、self-instruct数据集等 优秀的开源sft数据集：alpaca_data、belle、千言数据集、firefly、moss-003-sft-data多轮对话数据集等 文章目录 note 构造指令实例的3种方式 sft：Aligning Large Language Models with Human: A Survey Alpaca 1. self
机器学习|从0开发大模型之SFT训练
ytt0523_com的博客
01-10 1684
SFT是有监督微调（Supervised Fine-Tuning），指采用预先训练好的网络模型，并针对你自己的专门任务在少量的监督数据上对其进行重新训练的技术。任务特定性能提升：预训练语言模型通过大规模的无监督训练学习了语言的统计模式和语义表示，然而它在特定任务下的效果可能并不令人满意，通过在任务特定的有标签数据上进行微调，模型可以进一步学习任务相关的特征和模式，从而提高性能。
初学者必看！大模型微调（SFT）全流程指南：数据制备、指标判断、进阶技巧一网打尽
m0_48891301的博客
08-25 1788
初学者必看！大模型微调（SFT）全流程指南：数据制备、指标判断、进阶技巧一网打尽
llm预训练微调
03-27
### 预训练和微调方法概述 大型语言模型（LLM）的预训练和微调是构建高效、高性能模型的关键步骤。以下是关于这两种技术的核心概念及其具体实现方式。 #### 预训练阶段 预训练的目标是从大量无标注数据中学习通用的语言表示。这一过程通常依赖于自监督学习任务，例如掩码语言建模（MLM）、因果语言建模（CLM），以及其他变体。 - **掩码语言建模（Masked Language Modeling, MLM）**: 这种方法随机掩盖输入序列中的某些词，并让模型预测被掩盖的部分[^4]。这种方法有助于捕捉上下文之间的关系。 - **因果语言建模（Causal Language Modeling, CLM）**: 在这种设置下，模型基于先前的单词预测下一个单词。这是生成式任务的基础之一[^1]。 通过大规模语料库上的预训练，模型可以获得丰富的语法结构理解能力以及跨领域知识。例如，在SFT之后，经过精心设计的模型能够在多种基准测试中表现出色，同时支持多模态推理功能[^3]。 #### 微调阶段 微调是指在特定下游任务上进一步优化已经完成预训练的大规模语言模型的过程。根据不同的应用场景和技术路线，存在几种主要类型的微调： 1. **全量微调（Full Fine-Tuning）**: - 对整个神经网络的所有权重进行全面更新操作。尽管效果较好，但由于涉及大量的可训练参数，因此计算成本较高。 2. **低秩适应（Low-Rank Adaptation, LoRA）** 和其他轻量化方案： - 提出了更高效的迁移学习框架，比如Ladder Side-Tuning (LST)，它仅需增加少量额外参数即可达到良好表现水平。另外还有(IA)^3 方法，该方法通过对内部激活值施加抑制或增强作用来引入适配器机制，从而减少新增参数数量并降低内存消耗[^5]。 3. **指令调整（Instruction Tuning）**: - 是一种特殊的微调形式，特别适用于处理由自然语言编写的多样化命令集合的情况。FLAN项目展示了如何利用此类技术提升零样本泛化能力。 综上所述，无论是选择哪种具体的微调策略都需要综合考虑目标应用的需求特点以及资源限制条件等因素的影响。 ```python def example_finetune(model, dataset): """ A simple function demonstrating the concept of fine-tuning. Args: model: Pre-trained language model instance. dataset: Dataset specific to a downstream task. Returns: Finetuned_model: Model after being adapted to new data distribution. """ finetuned_model = model.fit(dataset) return finetuned_model ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值