大模型学习入门：从预训练到微调，小白也能掌握的核心流程（收藏版）

本文系统讲解了大语言模型（LLM）训练的核心流程，涵盖了从预训练到微调的关键概念。内容从让模型“读万卷书”的预训练过程讲起，深入浅出地介绍了Embeddings技术如何将文字转为数字向量，以及词表与向量的关系如何构成模型的“字典+语义地图”。此外，还详细解释了前向传播与反向传播的工作原理，以及PEFT技术如何高效微调大模型。最后，对比了safetensors和GGUF两种模型格式，帮助读者全面理解大模型训练的各个环节。

一、预训练（Pre-training）——让模型"读万卷书"

1.1 什么是预训练？

预训练（Pre-training） 是大模型在大规模通用数据集上进行的初始训练阶段。目标是让模型学习语言的基本结构、常识知识、语法、语义关系等通用能力，而不是针对某个特定任务。

1.2 预训练的核心特点

特点	说明
数据规模	使用数千亿甚至数万亿词的海量文本
学习方式	自监督学习（无需人工标注）
训练目标	学习语言的通用规律和知识
输出结果	具备通用能力的基座模型

1.3 常见的预训练任务

1.4 通俗理解

预训练就是让大模型"读万卷书"，先成为通才，再通过后续步骤成为专才。

• GPT-3 先在数千亿词语料上预训练，学会"像人类一样"生成连贯文本
• 之后可通过少量标注数据微调，用于客服对话、代码生成等具体场景

---

二、Embeddings——将文字变成数字向量

2.1 什么是 Embeddings？

Embeddings（嵌入） 是将离散的符号（如单词、句子）转换为连续的、低维的实数向量的技术。这些向量能捕捉语义、语法或上下文信息，让计算机可以"理解"人类语言。

2.2 直观示例

假设三个词经过 Embedding 后：

词语	向量表示（简化）	说明
猫	[0.8, -0.2, 0.5]
狗	[0.75, -0.18, 0.48]	与"猫"向量接近（都是宠物）
汽车	[-0.3, 0.9, -0.6]	与"猫"向量差别大（不同类别）

2.3 Embeddings 的关键特点

特点	说明
离散转连续	文字符号变成可计算的数值向量
语义编码	向量间的距离反映语义相似度
支持推理	国王 - 男人 + 女人 ≈ 女王

2.4 静态 vs 动态 Embeddings

2.5 应用场景

• 自然语言处理：文本分类、语义搜索、机器翻译
• 推荐系统：用户和商品的向量化表示
• 多模态：CLIP 将图像和文本映射到同一向量空间

---

三、词表与向量的关系——字典与语义地图

3.1 核心概念

概念	作用	类比
词表（Vocabulary）	定义模型能"认识"的基本语言单元	字典的词条列表
Embedding	为每个词表项提供语义向量表示	每个词条的详细解释

3.2 两者的紧密关系

词表和 Embedding 就像字典的"目录页"和"正文页"——目录告诉你词在第几页，正文给你详细解释。

关系一：一一对应（数量绑定）

词表中有多少个词，Embedding 矩阵就有多少行。

关系二：查表流程（使用绑定）

模型处理文本时，必须先用词表找到编号，再用编号去 Embedding 矩阵查向量。

关系三：训练中的角色分工

组件	训练前	训练中	作用
词表	固定不变	始终不变	提供"索引系统"
Embedding	预训练权重加载	不断调整优化	学习"语义含义"

3.3 Embedding 矩阵结构

3.4 关键要点

1. 一一对应

   ：词表中每个 token 对应 Embedding 矩阵的一行

2. 查表机制

   ：输入文本 → 分词 → 获取 ID → 从矩阵中取出对应向量

3. 覆盖范围

   ：词表决定了模型能处理哪些词，超出词表的词需要子词切分

4. 共同演化

   ：词表通常固定，Embedding 向量在训练中不断优化

3.5 总结

没有词表，Embedding 无从索引；没有 Embedding，词表只是符号，无法被模型计算。

二者共同构成了大模型理解语言的"字典 + 语义地图"。

---

四、前向传播与反向传播——模型如何学习

4.1 用做菜比喻理解

4.2 前向传播（Forward Propagation）

“先做一遍，看看味道怎么样”

关键点：

• 数据从输入层 → 隐藏层 → 输出层，单向流动

• 目的是得到预测值，并计算损失

• 不改变模型参数

  ，只是"试做"

4.3 反向传播（Backpropagation）

“分析哪里调料放多了/少了，然后调整”

关键点：

• 信息从输出层 → 隐藏层 → 输入层，反向流动
• 目的是计算每个参数的梯度（即该参数对损失的"责任"）
• 梯度用于更新参数（优化器如 SGD、Adam）

4.4 完整的训练循环

4.5 一句话总结

过程	核心作用	通俗理解
前向传播	计算预测和损失	“跑一遍模型，看看错在哪”
反向传播	计算参数梯度	“搞清楚谁该为错误负责”
参数更新	调整模型权重	“告诉它怎么改”

---

五、PEFT——参数高效微调

5.1 什么是 PEFT？

PEFT（Parameter-Efficient Fine-Tuning） 是一类微调技术，核心思想是：

保持预训练模型大部分参数冻结，仅训练少量额外参数，实现高效、低成本的模型适配。

5.2 为什么需要 PEFT？

全参数微调的痛点：

问题	说明
显存消耗巨大	需存储所有参数的梯度和优化器状态
计算成本高	训练时间长，算力开销大
存储成本高	每个任务都要保存完整模型副本

5.3 常见的 PEFT 方法

5.4 PEFT 的核心优势

优势	说明
节省资源	消费级 GPU 可微调百亿模型
避免灾难性遗忘	主干参数冻结，保留预训练知识
便于部署	每个任务只存几百 MB 增量文件
多任务切换	加载不同 PEFT 权重即可切换功能

5.5 实际案例（LoRA）

7B 参数的 LLaMA 模型：

5.6 总结

PEFT 是"四两拨千斤"的微调策略——不动大模型主体，只训练一小撮聪明的附加参数，就能让大模型快速适应新任务。

如今，PEFT（尤其是 LoRA）已成为大模型应用落地的标配技术。

---

六、模型格式对比——safetensors vs GGUF

6.1 两种格式概述

格式	开发者	主要用途
safetensors	Hugging Face	训练、微调、Python 推理
GGUF	llama.cpp (Georgi Gerganov)	CPU/GPU 本地推理（含量化）

6.2 核心区别对比

6.3 详细对比

特性	safetensors	GGUF
是否包含量化	❌ 原生不支持 ✅ 可配合 bitsandbytes	✅ 原生支持多种量化
依赖环境	Python + safetensors 库	无需 Python，C/C++ 友好
文件内容	纯权重张量（需配合 config.json）	自包含 ：架构 + 权重 + 分词器
典型文件	model-00001.safetensors adapter_model.safetensors	llama-3-8b.Q4_K_M.gguf

6.4 格式转换关系

6.5 使用场景

场景	推荐格式
用 LoRA 微调 LLaMA	safetensors（输出 adapter）
在 Mac 上用 LM Studio 运行	GGUF
手机/树莓派本地推理	GGUF（量化版本）
服务器端 Python 推理	safetensors

6.6 总结

safetensors 和 GGUF 是"兄弟"，不是"父子"。

它们分别服务于两个主流技术栈：

• safetensors → Hugging Face 生态

  （训练/微调/Python 推理）

• GGUF → llama.cpp 生态

  （本地/边缘设备/C++ 推理 + 量化）

在实际工作中，两者经常前后衔接使用：先用 safetensors 训练，再转为 GGUF 部署。

---

附录：核心概念速查表

概念	一句话解释
预训练	让模型"读万卷书"，学习通用语言规律
Embeddings	把文字变成有意义的数字向量
词表	模型认识的词汇列表，与 Embedding 一一对应
前向传播	模型做预测，计算误差
反向传播	分析误差来源，计算调整方向
PEFT/LoRA	只训练少量参数，高效微调大模型
safetensors	Hugging Face 的模型存储格式
GGUF	llama.cpp 的量化推理格式

最后

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？

答案只有一个：人工智能（尤其是大模型方向）

当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。

再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。


对于想入局大模型、抢占未来10年行业红利的程序员和小白来说，现在正是最好的学习时机：行业缺口大、大厂需求旺、薪资天花板高，只要找准学习方向，稳步提升技能，就能轻松摆脱“低薪困境”，抓住AI时代的职业机遇。

如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！

下面是我整理的大模型学习资源，希望能帮到你。

👇👇扫码免费领取全部内容👇👇

最后

1、大模型学习路线

2、从0到进阶大模型学习视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）

4、 AI大模型最新行业报告

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享（107 道）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划（共90天，可落地执行）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型

• 带你了解全球大模型

• 使用国产大模型服务

• 搭建 OpenAI 代理

• 热身：基于阿里云 PAI 部署 Stable Diffusion

• 在本地计算机运行大模型

• 大模型的私有化部署

• 基于 vLLM 部署大模型

• 案例：如何优雅地在阿里云私有部署开源大模型

• 部署一套开源 LLM 项目

• 内容安全

• 互联网信息服务算法备案

• …

  👇👇扫码免费领取全部内容👇👇

  

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】