01 基本认知
从 2022 年开始，大语言模型的数量呈爆发式的增长，各大公司和研究机构都在发布不同类型的大语言模型。
-
基础模型是指仅经过预训练的模型；
-
对话模型是指在预训练模型基础上经过有监督微调和强化学习训练的模型，具备对话和完成任务的能力；
-
推理模型是指专注于逻辑推理增强的大语言模型。
大模型全称大语言模型（现发展有多模态大模型）
✓
≥数百亿参数的深度神经网络
✓
新范式：预训练+指令微调！
✓
训练方式：大量无标注文本进行自监督学习
记住下面这些开源模型：
学习大模型最基本要有深度学习基础，其次是一个大模型中的一个核心模型——Transformer，难点也在这里，无论是训练原理、推理、效率优化都以底层原理为基础，其次就是实操工程经验了！
Transformer中的核心就是“自注意力机制”，且可多头并行，为并行加速提供了契机！
02 构建流程
以OpenAI的公开信息，主要包含四个阶段：预训练、有监督微调、奖励建模和强化学习。每个阶段所需的数据集规模、算法类型、产生的模型、时间和GPU资源都不相同：
1、预训练
预训练的灵感来自CV中的ImageNet，使用训练数据训练出一个具备通用且强大的自然语言表示能力，该模型能有效学习到词汇、语法、语义等信息。
要理解这点，你需要知道——Transformer训练大模型的本质的是得到一个预测模型，即通过已有的语言序列预测下一个词，不断，反复在支持的最长上下文限制窗口内进行。
（1）预训练数据集
数据集分类、预处理：
✓
通用数据集：网页、图书、新闻、对话文本等。规模大、多样性和易获取。
✓
专业数据集：多语言数据、科学文本数据、代码及领域特有资料等。预训练时引入专业数据集可有效提高大模型解决任务的能力。
✓
初筛：质量过滤、去冗余、隐私消除。
✓
词元切分：Tokenization将原始文本分割成词元序列的过程，是数据预处理中至关重要的一步。
✓
影响分析：数据规模、质量和多样性评估。分析数据对大语言模型训练所需资源或预估模型性能的影响。
开源数据集：Pile、RefinedWeb、ROOTS、CulturaX、SlimPajama等。
（2）分布式预训练
训练是自监督的，并行策略：
✓
数据并行：每个计算设备都有整个神经网络模型的模型副本Model Replica，进行迭代时，每个计算设备只分配一个批次数据样本的子集，并根据该批次样本子集的数据进行网络模型的前向计算。DP、DDP、FSDP、ZeRO等。
✓
模型并行：用于解决单节点内存不足的问题。分为两种：层间并行（算子间并行/流水线并行PP）、层内并行（算子内并行/张量并行TP）。还有SP、EP。
✓
混合并行：将多种并行策略如数据并行、流水线并行和张量并行等混合使用。
训练配置：正则化方法、激活函数、优化器等。
训练的集群架构：
✓
硬件组成：多个计算加速器组成的服务器、架顶交换机、骨干交换机等组成，往往为树形结构。
✓
其他：参数服务器PS架构、去中心化架构。
2、指令微调（有监督微调SFT）
得到预训练完的基础模型后，模型虽然具备了大量的“知识”，但是由于其训练时的目标仅是进行后续词的预测，因此不能够理解并遵循人类自然语言形式的指令。
要进一步用于下游任务需要再构建问题与答案的数据集进行指令微调，在通用语义表示的基础上，适配下游任务特性。
从训练方式的角度来看，指令微调与预训练大体上较为相似，不过指令微调的目标函数往往只是针对输出部分来计算损失。
（1）指令微调数据集
相比预训练数据集量级小的多，根据OpenAI公开消息，指令微调阶段也仅仅使用数万条数据。
✓
构成：文本对，包含“指令输入”与“答案输出”两个关键部分。
✓
构建方法：手动构建、现有数据集转换、自动构建以及综合模式。都是一个学习点
✓
数据影响评估：数据质量、数据多样性、数据对结果影响评估等。
✓
开源数据集：通用、特定领域。
（2）指令微调
✓
全量微调：微调全部参数
✓
高效微调：微调部分参数，旨在仅训练少量参数就使模型适应下游任务。例如LoRA大语言模型的低秩适配器，算法结构如下：
LoRA 算法不仅在 RoBERTa、DeBERTa、GPT-3 等大语言模型上取得了很好的效果，还应用到了 Stable Diffusion 等视觉大模型中，可以用小成本达到微调大语言模型的目的。引起了企业界和研究界的广泛关注。
还有一些变体：AdaLoRA、QLoRA、IncreLoRA及LoRA-FA等。
（3）上下文窗口扩展
你肯定遇到过经过多轮对话后，AI抽风记不住之前的要求，开始胡乱编撰。随着更多长文本建模需求的出现，多轮对话、长文档摘要等任务在实际应用中越来越多。
常见上下文窗口扩展技术：
✓
增加上下文窗口的微调：采用直接的方式，即通过使用一个更大的上下文窗口来微调现有的预训练 Transformer，以适应长文本建模需求。
✓
具备外推能力的位置编码：改进的位置编码，如 ALiBi[240]、LeX[241] 等能够实现一定程度上的长度外推。这意味着它们可以在小的上下文窗口上进行训练，在大的上下文窗口上进行推理。
✓
插值法：将超出上下文窗口的位置编码通过插值法压缩到预训练的上下文窗口中。
3、强化学习（RL）
有监督微调后的模型初步具备回答指令的能力，但有2个缺陷：
✓
麻烦：需要构建海量指令-答案对数据集，高质量回复标注需耗费高昂人力成本；
✓
难以适应多样性：交叉熵损失函数要求模型输出与标准答案逐字匹配，既无法适应自然语言的表达多样性，也难以解决输出对输入微小变动的敏感性。
针对以上，所以补充上强化学习！
强化学习（RL）研究的是智能体与环境交互的问题，其目标是使智能体在复杂且不确定的环境中最大化奖励。
2种演进方向：
✓
基于人类反馈的强化学习（RLHF）：模型自主探索更优的回复策略，并使得模型回复与人类偏好和价值观对齐。
✓
面向深度推理的强化学习：以 OpenAI 的 O 系列模型和 DeepSeek的 R 系列为代表，通过答案校验引导模型进行多步推理。这类方法将复杂问题分解为长思维链（Chain-of-Thought）的决策序列，在数学证明、代码生成等场景中展现出超越监督学习的推理能力。
✓
比之有监督学习：RL摆脱局部最优束缚、突破数据覆盖的认知边界、复杂系统长期价值建模。
算法方法：
✓
传统方法（如 Q-learning）：通常基于“价值函数”间接优化策略——先评估动作的价值，再选择最优动作。
✓
策略梯度（Policy Gradient）方法：摒弃了“先估值再决策”的中间步骤，而是将策略本身参数化（例如用神经网络表示），直接通过梯度上升优化策略参数，让智能体更倾向于选择能带来高回报的动作。
学习时可从从策略梯度的基础概念出发，回顾经典算法如 REINFORCE，PPO 等，并讨论在大模型时代流行的 GRPO，RLOO 等方法。
开源框架：
✓
字节跳动与香港大学联合开源的 RL 框架 verl（HybridFlow），为大模型强化学习训练带来了创新性的解决方案，有效解决了传统 RL/RLHF 系统灵活性和效率不足的问题。
开源数据集：
✓
Summarize from Feedback：OpenAI 在2020年就将RLHF技术引入摘要生成，该数据集分为两部分：对比部分和轴向部分。对比部分共计 17.9 万条数据，标注者从两个摘要中选择一个更好的摘要。轴向部分则有共计 1.5 万条数据，使用 Likert 量表为摘要的质量评分。对比部分仅有训练和验证划分，而轴向部分仅有测试和验证划分
✓
WebGPT的人类反馈数据集：来指导模型提升长文档问答能力，该数据集包含在 WebGPT 项目结束时被标记为适合奖励建模的所有对比数据，总计 1.9 万条数据。
✓
其他：Anthropic 的HH-RLHF数据集、Stanford Human Preferences（SHP）数据集。
4、推理效率优化（模型、训练、推理）
大模型的推理过程与其他深度学习模型（如 BERT、ResNet 等）非常不同，BERT 的执行时间通常是确定且高度可预测的。
但在大语言模型的推理过程中，虽然每次迭代执行时间具有确定性，但迭代次数（输出长度）是未知的。
影响效率指标的关键因素：计算成本、内存访问成本、内存使用情况。
核心原因：模型规模、自注意力机制（计算复杂度核心来源）、解码方法。
效率优化方法：
✓
模型优化：
优化模型结构（高效 FFN 设计、注意力机制优化、MoE 架构设计、Transformer 代替架构设计）
模型压缩（修改模型的数据表示（例如量化）、改变其架构（例如稀疏化、结构优化等）、知识蒸馏来提高推理效率）
✓
低精度训练：
前主流训练框架（例如 Megatron-LM、MetaSeq 和 Colossal-AI）仍采用 FP32 全精度或混合精度的 FP16/BF16 策略。
随着 Nvidia H100 GPU 的推出，FP8 正逐渐成为下一代低精度数据表示的主流格式。面临数据下溢或上溢问题。
✓
推理优化：算法级（多模型推测解码、KV-cache 优化）、系统级（模型/硬件并行化策略、显存优化、调度优化、网络请求优化、采样解码加速等）。
5、部署与应用
三层工作：
✓
基础层：大模型、深度学习框架（Pytorch/Tensorflow）、硬件算力支持（GPU/TPU集群）。
✓
部署层：模型压缩/量化/剪枝、推理优化（TensorRT、ONNX Runtime）、部署架构（云原生/嵌入式边缘端）、服务化封装（API网关、负载均衡）。
✓
应用层：场景适配（NLP/CV/语音/多模态）、prompt工程、效果评估（准确率、响应速度）。
本地部署工具：
✓
llama：llama是Meta的一个大模型，llama.cpp是纯C/C++ 实现的大语言模型推理项目，其主要功能是为用户提供跨硬件的高效推理能力。
✓
Ollama：一个开源的大模型服务工具，基于 llama.cpp，具备简洁的安装和使用流程。
✓
Open Webui：一个功能丰富的大模型管理工具，提供类似 ChatGPT 用户交互界面的工具，方便用户与模型交互。
本地部署原理图：
应用场景：内容创作、聊天机器人、翻译、代码编程、智能增强检索等。
03 其他
✓
多模态大模型：视觉图像、语音等多模态数据，涉及数据语义关联、多模态文本对齐等关键技术。
✓
Agent检索增强生成（最近很火！）：结合大语言模型的语义理解与实时搜索能力，为用户提供更精确、即时的查询结果。
如何学习AGI大模型？
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取