大模型训练阶段全解析：从单一预训练到三阶段框架！

关注

原创最新推荐文章于 2026-07-01 14:54:15 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

解析大语言模型训练三阶段 大语言模型的训练过程一般包括3个阶段：预训练（Pre-training）、SFT（有监督的微调，Supervised-Finetuning）以及RLHF（基于人类反馈的强化学习，Reinforcement Learning from Human Feedback），其中SFT和RLHF不是必须的流程。阅读详情

人工智能（AI）的核心目标是让机器通过学习具备类人智能，而大语言模型（LLM）为代表的大模型，是当前AI领域最具突破性的技术方向。这类模型以Transformer架构以及各种改良或替代架构为基础，通过大规模数据学习语言规律、多模态规律、知识体系与推理逻辑，已延伸至多模态（文本、图像、音视频、行为…）、世界模型（理解真实世界运行规则）等多个分支，成为支撑智能应用的关键范式和基座。

在这里插入图片描述

人工智能的发展始终围绕“让机器具备学习能力”展开，而大模型作为当前AI发展的核心载体，其模型训练的演进直接推动了能力的跃迁。大模型的训练本质是“数据驱动的参数优化过程”——通过向模型输入海量数据，调整数十亿甚至万亿级参数，让模型从“识别模式”到“生成内容”，再到“具备推理与决策能力”。

早期AI模型（如2018年前的传统语言模型）训练流程简单，多为“单阶段数据输入+模型拟合”，仅能完成文本补全、简单分类等基础任务。2018年GPT系列模型提出“预训练”范式，通过海量通用文本学习语言规律与世界知识，开启了大模型训练的第一个里程碑。此后，随着应用需求从“能生成文本”向“生成有用、安全、精准的文本”升级，单一预训练的局限性逐渐显现——模型虽具备泛化能力，但在推理、专业领域任务、人类意图对齐等方面表现薄弱。

为解决这一问题，业界开始探索多阶段训练模式，从GPT-3.5引入SFT、RLHF，到Llama3.1等明确“预训练+后训练”二分法，再到中期训练概念的正式确立，大模型训练逐步形成了“基础能力构建-专项能力增强-人类需求对齐”的完整链路。大模型训练阶段的演变，本质是“技术可行性”与“应用需求”的双向奔赴——从单一预训练到三阶段框架，每一次阶段拆分都对应着模型能力的跃升，每一个阶段子环节的细化都回应着更具体的应用场景。如今，无论是开源模型（DeepSeekV3、Qwen3）还是闭源模型（GPT-4o、Claude4.5），多阶段协同训练已成为行业共识，其核心目标是在通用能力与专项性能、训练效率与效果之间找到最优平衡。

一、大模型训练的训练阶段构成演变

大模型训练阶段的演变，本质是“模型能力需求”与“技术优化目标”共同驱动的结果——从解决“会不会用语言”，到“能不能做好专项任务”，再到“能不能平衡通用与专业”，训练流程逐步分化、细化，形成了清晰的四阶段发展脉络。

1.单一训练阶段时期（2018-2020年）：仅有预训练

这一时期以GPT-3为典型代表，训练流程仅有“预训练”一个核心阶段。模型通过海量无标注通用数据（如网页文本、书籍、论文），以“下一个token预测”为目标进行训练，核心任务是学习语言语法、语义逻辑与基础世界知识。

典型代表：GPT-1、GPT-2、GPT-3、早期BERT模型。

核心动机：当时大模型的核心需求是“突破语言理解与生成的天花板”，大规模通用数据的训练能快速提升模型的泛化能力，解决早期模型“语料不足、表达生硬”的问题，让模型掌握语法、语义、常识性知识，具备基本的文本生成能力。这一阶段的训练逻辑简单直接——“数据量决定模型上限”，无需复杂的多阶段设计。

训练特点：仅采用“无监督预训练”，数据以通用文本（如网页、书籍、维基百科）为主，训练目标单一（下一个token预测），无后续针对性优化环节。

局限性：模型虽能生成流畅文本，但缺乏专项能力（如数学推理、代码生成），且输出易偏离人类偏好（如生成有害内容、逻辑混乱），难以直接应用于实际场景。模型仅能完成基础文本生成任务，缺乏逻辑推理、指令遵循能力，且输出内容易出现无意义、偏离需求的情况，无法直接满足实际应用场景。

2.多训练阶段时期（2022年）：预训练+后训练雏形

随着应用场景落地，“模型对齐人类需求”成为核心痛点，单一预训练已无法满足要求。2022年GPT-3.5的发布，首次引入“预训练+SFT+RM+RLHF”的多阶段流程，虽未明确提出“后训练”概念，但已构建了“基础能力+对齐优化”的双阶段核心逻辑。预训练阶段负责构建通用知识基座，后续三个子环节则聚焦“让模型理解人类意图、输出符合预期的内容”。

典型代表：GPT-3.5、早期Claude。

核心动机：解决预训练模型“能说不会做”“说不好”的问题——不仅要生成流畅文本，还要符合人类指令、遵循道德规范、具备基本推理能力。

训练特点：随着大模型开始落地应用，“可用性”成为核心诉求。单一预训练模型的输出具有随机性，无法遵循用户指令、满足伦理安全要求，而SFT（有监督微调）通过人工标注指令数据校准模型输出，RM（奖励模型）量化输出质量，RLHF（基于人类反馈的强化学习）让模型持续优化对齐效果，形成了完整的“人类反馈闭环”。首次明确拆分出“预训练+多步后训练”流程，预训练负责构建通用能力基座，后训练包含有监督微调（SFT）、奖励模型（RM）、基于人类反馈的强化学习（RLHF）三个核心环节，形成“预训练打基础、后训练做对齐”的雏形。

关键突破：提出“人类反馈驱动优化”的思路，让模型从“学习语言”转向“服务人类”，但未明确“后训练”的统一概念，各环节仍被视为独立优化步骤。

行业影响：这一范式被业界广泛沿用，Claude1/2、文心3.0等模型均采用类似流程，大模型训练从“单纯追求能力”转向“能力与可用性并重”。

3.推理模型兴起时期（2023-2024年）：预训练+后训练成熟

随着推理、代码等专项能力需求凸显，OpenAI o1、DeepSeek-R1、Llama3.1等模型陆续发布，“预训练+后训练”成为明确的训练范式。预训练阶段负责构建通用知识与语言等模态能力，后训练阶段则包含SFT、奖励建模、DPO（直接偏好优化）、宪法AI等多个子环节，核心目标是“定向增强专项能力+深度对齐人类需求”。

典型代表：OpenAIo1、DeepSeekR1、Llama3.1、Qwen3、Kimi2。

核心动机：一方面，推理、代码、长文本处理等垂直场景需求爆发，需要模型在通用基础上具备专项能力；另一方面，RLHF的局限性逐渐显现（如训练成本高、易过拟合），业界开始探索更高效的后训练技术（如DPO、宪法AI）。这一阶段的核心逻辑是“预训练打基础，后训练定效果”，后训练的技术创新成为模型差异化竞争的关键。模型需要在特定领域形成“专业优势”，而非仅满足通用对齐——如数学推理、长文本理解、代码开发等，单一RLHF已无法实现能力的深度提升。

训练特点：正式确立“预训练+后训练”两阶段框架。预训练阶段进一步细分（如Qwen3的通用→推理→长上下文三个子环节），聚焦基础能力与场景适配；后训练阶段丰富化，除RLHF外，新增直接偏好优化（DPO）、思维链（CoT）训练、蒸馏优化等环节，形成“多子环节协同”的专项能力强化流程。

行业共识：后训练成为模型差异化竞争的核心——预训练基座的通用能力差距逐渐缩小，后训练的策略设计、数据质量直接决定模型的专项性能上限。

典型实践：Qwen3的后训练分为5个子环节，涵盖长文本思维链、推理强化学习、蒸馏等环节；DeepSeekR1通过“拒绝采样+RL+SFT”的多环节后训练，实现推理能力的大幅提升；Llama3.1则用DPO替代传统RLHF，降低了训练成本同时提升了稳定性。

4.预训练+中期训练+后训练形成（2024-2025年）：中期训练崛起

预训练“泛而不精”、后训练“精而过拟”的矛盾日益突出。2024年起，OpenAI、xAI等开始设立或筹建“mid-training”部门，微软Phi3.5等研究引入中期训练概念和实践，北大与美团联合发布中期训练综述《A SURVEY ON LLM MID-TRAINING》，标志着三段式训练框架开始形成。中期训练开始崛起，作为连接预训练与后训练的桥梁，通过目标导向的专项数据训练，解决“预训练泛而不精、后训练精而过拟”的核心矛盾。

典型代表：GPT-4Turbo、GPT-4o、Phi3.5、Olmo2、AlphaProof。

核心动机：预训练阶段虽能构建通用基座，但在垂直领域（如数学、代码）的能力不足，难以覆盖垂直领域知识；后训练阶段若直接处理高难度专项任务，易导致模型“偏科”（丧失通用能力）、“过拟”（依赖特定数据）或训练成本过高。中期训练通过中等计算资源投入，在保留通用能力的前提下定向增强专项能力，做到通用能力与专项能力的平衡，为后训练阶段铺垫基础，实现“定向增强+平稳过渡+高效优化”。

训练特点：在预训练与后训练之间新增独立训练阶段，通过目标导向的数据分析、策略优化与架构调整，让模型从“通用基座”平稳升级为“具备专项潜力的进阶基座”，为后训练降低成本、提升效果。

行业现状：OpenAI的GPT-4o、xAI的Grok4均融入中期训练技术，开源模型中Llama3.1、Phi3.5已明确采用相关流程，中期训练虽尚未成为全行业统一术语，但技术实践已广泛落地，成为提升模型专项能力的关键环节。

一直在更新，更多的大模型学习和面试资料已经上传带到优快云的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

在这里插入图片描述

二、大模型训练的各训练阶段

当前主流大模型的训练已形成“预训练打基础、中期训练做增强、后训练做对齐与优化”的三阶段体系（除了必选的预训练，虽然很多模型训练并没有特别提及中期训练或后训练的名称，但一些训练工作和环节其实就是属于这两个阶段），每个阶段均有明确目标、特定数据与专属方法，且包含多个功能化子环节，形成了层层递进的优化链路。

1.预训练阶段（Pre-Training）：通用能力的“地基工程”

预训练是大模型的初始和基础训练阶段，核心目标是让模型学习通用知识和规律、基础逻辑，构建能力基座，让模型具备理解和生成不同内容的基本能力，为后续阶段提供参数基础。无论闭源还是开源模型，预训练都是不可或缺的起点（当然，只是做基于预训练模型的微调或者强化学习等则可以跳过预训练）。

核心作用：学习模态规律（如语言语法）、语义逻辑、常识性知识（如“地球是圆的”）、世界基本规律（如“因果关系”），形成对各类信息的初步建模能力。预训练决定着模型的通用能力上限，包括理解准确度、知识覆盖广度、基础逻辑推理能力，是后续阶段无法替代的“地基”。

关键特征：训练数据规模庞大（将训练数据通过词表等方式映射转换为数百亿至数千亿token），以无监督学习为主，训练目标单一（多为下一个token预测）。

典型阶段子环节与实践：

通用预训练：使用海量通用数据（CommonCrawl、Wikipedia等），学习基础语言等模态规律与广谱知识，构建语言等模态与知识基座，如GPT-3、Llama3的初始预训练环节，例如GPT-3使用约45TB文本数据，AlphaProof的预训练数据量达3000亿token。
专项适配预训练：针对特定场景扩展能力，如长上下文扩展（通过专门的数据与技术扩展模型上下文窗口，例如DeepSeekV3从4K逐步扩展至128K，Qwen3单独设立“长上下文预训练子环节”，核心技术包括RoPE位置编码的插值、NTK感知插值等）、多语言预训练（Yi-Lightning扩展至10万+词汇量）。
退火（Annealing）：通过调整学习率与数据比例，稳定模型参数，避免过拟合（后续训练中的参数震荡），如Llama3.1的预训练退火环节。

2.中期训练阶段（Mid-Training）：通用与专项的“桥梁工程”

中期训练是介于预训练与后训练之间的独立阶段，核心目标是“定向增强专项能力，同时保留通用基础”，解决预训练“泛而不精”与后训练“精而过拟”的矛盾。

核心定义：根据北大与美团发表的最新综述定义，中期训练的核心是通过中等计算资源投入和目标导向的大规模数据利用，在继承预训练优化器状态与数据分布的基础上（保留基础能力的前提下），系统性增强特定领域能力的训练阶段。

核心作用：向前承接预训练的通用能力，向后为后训练降低成本（如注入少量指令数据可减少SFT工作量），实现“平稳过渡+能力升级”。可提升能力的方向包括：通用能力稳健性保障、数学/STEM等核心认知能力深化、指令遵循等任务执行能力预热、长上下文/多语言等扩展能力突破。例如中期训练可使模型LeetCode代码通过率从45%提升至68%，IMO风格题目解题能力接近人类银牌水平；同时降低后训练成本，例如注入1%指令数据即可大幅提升后续SFT效果。

关键特征与差异：

双向衔接：向前承接预训练的优化器状态与数据分布，向后为后训练降低成本、铺垫能力。
数据高效：通过精准数据筛选与合成，以远少于预训练的数据量实现专项能力提升。
平衡可控：混合通用数据与专项数据，避免模型“偏科”或“灾难性遗忘”。
与持续预训练的区别：后者仅扩展领域数据，易导致模型偏科；中期训练通过控制数据比例与学习率动态，平衡稳定性与专项能力。

典型阶段子环节与实践：

数据优化：涵盖收集（通用+专项数据）、合成（LLM驱动的蒸馏、提取、演进）、选择（目标采样+质量过滤）、去污染（去除泄露与低质数据）、混合（通用数据打底+专项数据强化）五大步骤，例如Llama-3采用70%预训练数据+30%领域数据的混合比例。
训练策略环节：以学习率调度为核心（如三段式策略），主流采用“预热-稳定-衰减”三段式策略（Warmup-Stable-Decay），批量大小随数据规模动态调整，确保训练稳定性。
架构优化环节：聚焦长上下文扩展（RoPE相关技术：位置插值、NTK感知插值、YaRN）与多语言支持，如DeepSeek-V3多环节上下文扩展，Yi-Lightning通过扩展词汇表提升多语言能力。

3.后训练阶段（Post-Training）：实用能力的“精装修工程”

后训练是模型训练的收尾阶段，核心目标是“对齐人类偏好、优化专项性能、适配实际应用”（包括指令遵循、伦理安全、输出质量等），让模型从“具备能力”转变为“能用好能力”。不同模型的后训练的子环节存在差异，但核心逻辑均为“校准+优化”。

核心作用：解决模型“能力与需求脱节”的问题，包括对齐人类价值观（避免有害输出）、提升任务执行精度（如代码生成通过率）、优化交互体验（如指令遵循准确性）。

关键特征：数据规模小于预训练与中期训练，但质量要求更高，以有监督学习、强化学习为主，训练目标更贴近实际应用场景。

典型阶段子环节与实践：

有监督微调（SFT）：通过人工标注的指令-响应数据，让模型学习“理解指令、输出符合预期的内容”，例如GPT-3.5的SFT环节使用人类标注的对话数据，Kimi2的SFT聚焦工具使用能力训练。
奖励建模（RM）：构建奖励模型（RM）或设计奖励机制，量化模型输出的优劣。比如将人类主观偏好（如准确性、逻辑性、安全性）转化为数值奖励，为后续强化学习提供优化方向，是RLHF的核心前置环节。
强化学习优化：基于奖励信号调整模型参数，包括RLHF（基于人类反馈的强化学习）、DPO（直接偏好优化）、宪法AI等。RLHF通过人类反馈迭代优化模型，GPT-4o、文心4.5均采用；DPO直接通过偏好数据优化模型策略，无需RM环节，Llama3.1、Qwen3均采用；宪法AI通过“监督学习→强化学习”两环节，让模型遵循预设伦理准则，Claude4.5是典型代表。
蒸馏与融合：部分模型（如Qwen3）在后期加入“强弱蒸馏”、“思维模式融合”子环节（Strong-to-WeakDistillation、ThinkingModeFusion），通过模型间知识迁移，提升效率与稳定性。

三、大模型训练的多阶段及子环节必要性

大模型训练采用“多阶段+阶段子环节”的复杂框架，并非技术冗余，而是由模型特性、数据约束、模型优化规律、应用需求等多重因素决定的必然选择，核心原因可归纳为四点：

1.解决“能力分层”需求，实现精准优化

大模型的能力形成具有“层次性”：先需通用语言等模态与知识基础（预训练），再需专项能力强化（中期训练），最后需对齐人类需求（后训练）。不同阶段的训练目标差异显著，若混为一谈，会导致“优化方向模糊”——通用数据会稀释专项能力，专项数据会破坏通用基础，人类反馈数据无法直接用于基础建模。

而子环节的划分进一步细化了优化颗粒度：如预训练中的长上下文子环节，专门解决“文本长度限制”问题；后训练中的DPO子环节，聚焦“高效偏好对齐”，让每个环节都能聚焦单一目标，提升优化效率。

2.平衡“数据效率”与“训练成本”

大模型训练受数据质量、计算资源双重约束：预训练需要海量通用数据，但这类数据对专项能力提升有限；后训练需要高质量标注数据，但成本极高（如人工标注指令数据单价是通用数据的数十倍）；中期训练通过“合成数据+数据混合”策略，以中等成本实现专项能力增强，避免了“全流程用高质量数据”的高昂开销。

而阶段子环节的拆分让数据利用更精准：如中期训练的数据去污染子环节，可避免基准数据集泄露；后训练的蒸馏子环节，能让小模型复用大模型的能力，大幅降低部署成本。

3.规避“训练风险”，保障模型稳定性

大模型训练存在两大核心风险：一是“灾难性遗忘”——专项训练会覆盖预训练习得的通用知识；二是“分布偏移”——不同类型数据的分布差异会导致模型训练震荡，甚至性能下降。

多阶段框架通过“渐进式优化”规避风险：预训练奠定稳定参数基础，中期训练继承预训练的学习率动态与数据比例，实现平稳过渡；后训练采用温和的优化策略（如低学习率），避免覆盖核心参数。而阶段子环节的精细化控制进一步降低了风险，如中期训练的“70%通用数据+30%专项数据”混合比例，可有效防止模型偏科。

4.适配“复杂应用场景”，支撑能力升级

当前大模型的应用场景已从“简单文本生成”扩展至数学推理、代码开发、多模态交互、智能体工具使用等复杂场景，单一训练阶段无法覆盖所有能力需求：

数学推理需要“预训练的逻辑基础+中期训练的推理数据强化+后训练的CoT优化”；
长文本处理需要“预训练的上下文扩展+中期训练的长文本数据适配+后训练的分段理解优化”；
对齐人类偏好需要“后训练的SFT+RM+RLHF多环节协同”。

而阶段子环节的划分让模型能针对性响应场景需求，如Qwen3的后训练分五个子环节，分别优化推理、交互、蒸馏等不同目标，支撑多场景适配。

四、趋势思考与小结

大模型训练阶段的演变，本质是“精准匹配能力需求与训练资源”的过程。从发展趋势来看，未来将呈现三大核心方向：

1.中期训练的标准化与普及化

中期训练已被证明是提升专项能力的高效路径，随着中期训练的理论框架逐步落地，其数据处理、训练策略、架构优化将形成行业标准。未来预训练、中期训练、后训练的分工将更明确，无论是开源模型还是闭源模型，中期训练都将成为标配，且会出现“领域化中期训练方案”（如数学专用、代码专用、医疗专用等），中期训练的权重会持续提升，同时进一步降低垂直场景的模型开发成本。

2.多阶段联合优化成为核心技术

当前各阶段仍存在“各自为战”的问题，未来将走向“端到端联合优化”，预训练的参数动态会直接指导中期训练的策略选择，中期训练的能力评估会反向优化预训练的数据筛选，实现端到端的协同。例如中期训练与后训练的超参数联动、预训练数据分布与中期训练数据的动态匹配、各阶段优化目标的统一校准。OpenAI、DeepMind等机构已开始探索相关技术，这将进一步提升训练效率与模型性能的一致性。

3.阶段子环节精细化与自动化

各训练阶段涉及的子环节会进一步拆分（如中期训练的合成数据子环节，会分化出针对不同领域的专用方法），同时超参数配置（如学习率、数据比例）会实现自动化优化，减少人工干预。

4.数据合成与策略优化的智能化

数据是训练阶段的核心驱动力，未来中期训练与后训练将更依赖大模型驱动的数据合成技术（如MathGenie的数学数据生成、BoostQA的STEM数据合成），解决稀缺领域数据不足的问题；中期训练的策略（如学习率调度、数据混合策略）与后训练的“强化学习框架”或自适应算法会协同优化，形成“数据-策略-能力”的闭环，实现“训练过程的自我优化”，降低人工调参成本。如根据模型在中期训练的表现，动态调整后训练的奖励机制。

大模型训练阶段的演变，本质是“技术可行性”与“应用需求”的双向奔赴——从单一预训练到三阶段框架，每一次阶段拆分都对应着模型能力的一次跃升，每一个阶段子环节的细化都回应着更具体的应用场景，也是行业对“模型能力形成规律”的认知深化。

预训练是“基础”，决定了模型的通用能力天花板；中期训练是“桥梁”，实现通用到专项的高效跃迁，决定了模型的专项能力精准度；后训练是“收尾”，成技术能力到用户价值的转化，决定了模型的实用价值落地效果。三者缺一不可，同时多阶段与阶段子环节的设计，既遵循了模型优化的科学规律，又平衡了训练成本与应用需求，共同构成了大模型从“数据”到“能力”再到“价值”的完整转化链路。

对于工业界而言，三阶段框架的成熟降低了大模型的研发门槛——通用预训练基座可复用，中期训练可快速适配垂直领域，后训练可灵活对齐场景需求，推动更多轻量化、高精度的专用模型落地；对于学术界而言，中期训练的崛起为研究提供了新的方向，数据合成、长上下文扩展、跨阶段协同等问题，将成为未来一段时间的研究热点。

未来，大模型训练的竞争将不再是“单一阶段的技术突破”，而是“全流程阶段协同的效率与效果优化”。对于开发者而言，理解各阶段的核心目标与技术逻辑，是设计高效训练方案的前提；对于用户而言，知晓训练阶段的构成，也能更清晰地理解不同模型的能力差异与适用场景。

五、如何系统的学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新，更多的大模型学习和面试资料已经上传带到优快云的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

在这里插入图片描述