【LLM基础】0. LLM 相关的常见术语及其含义

---

第一部分：模型基础与内部架构 (Model Foundation & Architecture)

这一部分是 LLM 的“骨骼与内脏”。现代大语言模型绝大多数基于 Transformer 架构，理解这些术语是理解模型如何“思考”的关键。

1. Transformer

• 中文翻译：Transformer 架构 / 变形金刚架构
• 核心定义：由 Google 在 2017 年《Attention Is All You Need》论文中提出的一种基于自注意力机制的神经网络架构。
• 深度解析：传统的 RNN（循环神经网络）必须按顺序处理文本，效率极低。Transformer 完全抛弃了循环结构，采用并行处理方式。它原本包含 Encoder（编码器，用于理解，如 BERT）和 Decoder（解码器，用于生成，如 GPT 系列）。如今的 LLM（如 GPT-4, LLaMA）基本都是基于“仅解码器 (Decoder-only)”的架构。

2. Embedding

• 中文翻译：词嵌入 / 向量化表示
• 核心定义：将人类语言（离散的符号）转化为计算机能理解的连续稠密向量（一串浮点数）的技术。
• 深度解析：在多维空间中，意思相近的词汇，其向量距离也会很近。比如“国王”和“皇帝”的向量可能在空间中紧挨着。它不仅包含了词的字面信息，还隐含了语义特征。
• 比喻：就像是给每个词语分配了一个极其精准的“多维 GPS 坐标”，在这个坐标系里，语义相近的词住在同一个“小区”。

3. Self-Attention / Multi-Head Attention

• 中文翻译：自注意力机制 / 多头注意力机制

• 核心定义：模型在处理当前词时，自动“关注”上下文中其他相关词汇的机制。

• 深度解析：

  • Self-Attention：处理句子“苹果公司很好，它今年发布了新手机”时，模型在处理“它”这个词时，自注意力机制会把高权重分配给“苹果公司”，从而解决指代消解问题。
  • Multi-Head (多头)：模型不只用一种视角看问题，而是分成多个“头”（比如 32 个头）。有的头关注语法结构，有的头关注情感色彩，有的头关注实体关系。最后将所有头的信息拼接起来。

• 比喻：就像一群专家组成的智囊团（多头），在阅读一份文件时，有人负责查错别字，有人负责看逻辑，有人负责提炼中心思想。

4. Q, K, V (Query, Key, Value)

• 中文翻译：查询向量、键向量、值向量
• 核心定义：注意力机制中的三个核心矩阵，用于计算词与词之间的相关性得分。
• 深度解析：输入序列的每个 Token 都会被映射为这三个向量。Query 代表“我当前在寻找什么信息”，Key 代表“我能提供什么特征”，Value 代表“我实际包含的内容”。通过计算 Query 和所有 Key 的点积，得出注意力分数，然后按这个分数对所有 Value 进行加权求和。
• 比喻：你去图书馆找书。Query 就是你在检索系统里输入的“人工智能”；Key 就是每本书书脊上的“标签/书名”；Value 就是这本书里面的“具体内容”。

5. FFN (Feed-Forward Network)

• 中文翻译：前馈神经网络 / 多层感知机 (MLP)
• 核心定义：Transformer 每个注意力块之后连接的非线性全连接网络。
• 深度解析：注意力机制负责“收集”上下文信息（信息在词与词之间流动），而 FFN 负责“消化和加工”这些信息（信息在每个独立的词内部进行非线性升维和降维）。FFN 通常会将向量维度放大 4 倍然后再缩小回来，以此来拟合复杂的非线性函数，记忆大量的世界知识。
• 比喻：注意力机制是“把所有的食材收集到锅里”，FFN 则是“开火炒菜，发生化学反应”。

6. Residual Connection

• 中文翻译：残差连接 / 跳跃连接
• 核心定义：将网络前一层的输出直接加到后面某一层的输出上：Output = Layer(x) + x。
• 深度解析：随着神经网络层数加深，很容易出现梯度消失（信号传不到前面）或网络退化。残差连接提供了一条“信息高速公路”，使得原始特征可以无损地传递到深层，极大提高了深层网络训练的稳定性。

7. Layer Normalization / RMSNorm

• 中文翻译：层归一化 / 均方根归一化
• 核心定义：一种稳定神经网络训练的技术，对每一层的数据分布进行标准化处理。
• 深度解析：Transformer 内部的数据如果不加限制，数值可能会变得无限大或无限小。归一化强制把每一步的输出拉回均值为 0、方差为 1 的正态分布（或类似分布）。目前 LLaMA 等开源模型普遍采用 RMSNorm，它去掉了均值计算，只算均方根，计算速度更快，效果却相当。

8. Positional Encoding / RoPE / ALiBi

• 中文翻译：位置编码 / 旋转位置编码

• 核心定义：因为 Transformer 是并行处理数据的，本身没有“顺序”概念，必须通过额外加入位置信息让模型知道词的先后顺序。

• 深度解析：

  • 早期采用绝对位置编码（如正弦/余弦函数）。
  • 目前主流采用 RoPE (Rotary Position Embedding, 旋转位置编码)，它通过在复数空间中对向量进行旋转，巧妙地将相对位置信息注入到 Q 和 K 的点积中，使得模型对外推（处理比训练时更长的文本）有更好的表现。

9. lm_head (Language Model Head)

• 中文翻译：语言模型头 / 输出投影层
• 核心定义：模型架构的最后一层，负责将隐藏层向量转换为词表概率分布。
• 深度解析：经过几十层 Transformer 块处理后，我们得到的是一个高维向量。lm_head 其实就是一个巨大的全连接层（矩阵乘法），它的输入维度是隐藏层大小（如 4096），输出维度是词表大小（如 100,000）。经过 lm_head 处理，并配合 Softmax 函数，模型就能输出预测下一个词的可能性列表（每个词的概率）。

---

第二部分：分词与数据输入 (Tokenization & Data Processing)

模型看不懂中文或英文，它只能处理数字。这一部分负责将人类语言转化为数字序列。

10. Token / Tokenizer

• 中文翻译：词元 / 分词器
• 核心定义：Token 是大模型处理文本的最小基本单位；Tokenizer 是将长文本切分成 Token 序列的算法工具。
• 深度解析：一个 Token 不一定是一个完整的单词。在英文中，“unbelievable” 可能被切分为 “un”, “believ”, “able” 三个 Token。在中文中，通常一个汉字或一个常用词组是一个 Token。Tokenizer 的好坏直接影响模型对语言形态的理解以及上下文窗口的利用率。

11. Vocabulary

• 中文翻译：词表
• 核心定义：模型能够识别的所有唯一 Token 的集合。
• 深度解析：每个模型在训练前都会确定一个固定的词表大小（例如 GPT-4 约为 100k，LLaMA-3 为 128k）。词表越大，单个 Token 能表达的信息越多，序列就越短（省显存）；但词表过大会导致模型的 Embedding 层和 lm_head 层参数量暴增，增加训练难度。

12. BPE (Byte Pair Encoding)

• 中文翻译：字节对编码
• 核心定义：目前大模型最主流的子词（Subword）分词算法。
• 深度解析：它从单个字符（或字节）开始，不断统计相邻两个字符组合的频率，将最高频的组合合并成一个新的 Token，直到达到预设的词表大小。这种方法完美平衡了“词汇丰富度”和“避免生僻词 (Out Of Vocabulary)”的问题。

13. Special Tokens (BOS, EOS, PAD)

• 中文翻译：特殊占位符

• 深度解析：

  • BOS (Begin Of Sentence)：序列开始标记，告诉模型一句话开始了。
  • EOS (End Of Sentence)：序列结束标记。模型生成出这个标记时，推理过程就会停止。如果模型学不好 EOS，就会不停地胡言乱语（无限输出）。
  • PAD (Padding)：填充标记。由于 GPU 需要矩阵对齐运算，短句子需要用 PAD 补齐到和长句子一样的长度。

---

第三部分：推理与解码策略 (Inference & Decoding Strategies)

大模型在生成回复时，内部实际上是在计算概率，如何从概率分布中挑出最终的词，这就是解码策略。

14. Autoregressive (AR) Generation

• 中文翻译：自回归生成
• 核心定义：根据过去和现在的信息，预测未来的机制。
• 深度解析：LLM 生成文本是“逐字（Token）生成”的。输入上下文，模型预测出第 1 个词；然后把第 1 个词拼接到输入中，再去预测第 2 个词；如此循环，直到预测出 EOS 停止符。这就是为什么我们看到 ChatGPT 输出时是一个字一个字往外蹦的原因。

15. Temperature

• 中文翻译：温度值

• 核心定义：控制模型生成文本时随机性和创造性的超参数。

• 深度解析：在 Softmax 阶段调整概率分布：

  • Temperature = 0：等于贪心搜索（Greedy Search），模型每次都选概率绝对最大的那个词，输出高度确定，适合做数学题、代码生成、事实问答。
  • Temperature > 1：概率分布被拉平，低概率的词也有机会被选中，回答更具创意，但也容易产生幻觉或胡言乱语，适合写诗、写故事。

16. Top-k Sampling

• 中文翻译：Top-k 采样
• 核心定义：在生成下一个词时，只从概率排名最高的前 k 个词中进行随机采样。
• 深度解析：如果 k=50，无论词表有十万个词，模型都直接砍掉排名 51 之后的所有词。这防止了模型偶尔抽风选到一个概率极低的毫无逻辑的词。

17. Top-p Sampling (Nucleus Sampling)

• 中文翻译：Top-p 采样 / 核采样
• 核心定义：按照概率从大到小累加候选词，当累加概率刚超过给定的阈值 p（如 0.9）时，停止加入候选词，然后在这个动态集合中采样。
• 深度解析：相比 Top-k 的“一刀切”，Top-p 更加智能。如果当前预测非常确定（比如某个词概率就占了 90%），候选池就只有这 1 个词；如果当前预测很不确定（很多词概率相似），候选池就会包含几十个词。

18. KV Cache

• 中文翻译：键值缓存
• 核心定义：大模型推理加速的最核心技术，通过缓存历史 Token 的 K 和 V 矩阵来避免重复计算。
• 深度解析：在自回归生成中，每生成一个新的 Token，模型本来需要重新计算前面所有上下文的注意力。引入 KV Cache 后，前面计算过的 Key 和 Value 会被保存在显存中，新来的 Token 只需要算自己的 Q，然后和缓存中的 K, V 直接相乘即可。
• 代价：这会极大地占用 GPU 显存（这就是为什么长文本大模型极度吃显存的原因）。

19. Repetition Penalty

• 中文翻译：重复惩罚
• 核心定义：一种惩罚机制，降低模型在上下文中已经生成过的词汇再次被选中的概率。
• 深度解析：如果不加控制，模型很容易陷入死循环（例如：“非常非常非常非常感谢…”）。引入此参数后，已经出现过的词，其对数概率（Logits）会被除以一个大于 1 的惩罚系数，从而抑制“复读机”现象。

---

第四部分：训练与微调 (Training & Fine-Tuning)

如何将一个未经人事的“语言引擎”变成一个善解人意的“AI 助手”？这就需要经历从预训练到对齐的多个阶段。

20. Pre-training (PT)

• 中文翻译：预训练
• 核心定义：在大规模无标注文本语料上训练模型的阶段，目标是“预测下一个词”（Next Token Prediction）。
• 深度解析：这是最昂贵、最耗时的一步（耗资几百万到上亿美元）。模型阅读了全网的书籍、网页、代码，学会了人类的语法、逻辑和庞大的世界知识（此时的模型叫作 Base Model，或基座模型）。但此时它只会“续写”，不会“回答问题”。

21. SFT (Supervised Fine-Tuning)

• 中文翻译：监督微调 / 指令微调 (Instruction Tuning)
• 核心定义：使用高质量的“人类指令-回复”对（如一问一答的数据集）对预训练模型进行进一步训练。
• 深度解析：让 Base Model 学习“如何作为一名助手进行对话”。经过 SFT 后，当你输入“帮我写一封请假条”，它不再去续写“请假条怎么写”，而是真正输出一封请假条的正文。SFT 数据的质量（Quality）远远比数量（Quantity）重要（所谓的“LIMA 定律”：Less Is More for Alignment）。

22. RLHF (Reinforcement Learning from Human Feedback)

• 中文翻译：基于人类反馈的强化学习

• 核心定义：通过引入奖励模型，让大模型的输出不仅是对的，而且符合人类偏好（有礼貌、无害、不偏激）。

• 深度解析：

  1. 训练一个 Reward Model (奖励模型)：让人类对模型的多个回答进行打分排序，训练一个当裁判的神经网络。
  2. 利用 PPO (近端策略优化) 算法：模型生成回复 -> 奖励模型打分 -> 根据分数调整模型参数。

• 最新替代技术：DPO (直接偏好优化)。摒弃了复杂的奖励模型和 PPO 算法，直接使用偏好数据（好回复 vs 坏回复）修改交叉熵损失函数进行对齐，目前在开源界极为流行。

23. PEFT (Parameter-Efficient Fine-Tuning)

• 中文翻译：参数高效微调
• 核心定义：在不更新大模型所有参数的情况下，仅通过更新极少数额外参数来完成微调的技术总称。
• 深度解析：全量微调（Full Fine-tuning）一个 70B 模型可能需要几十张甚至上百张顶级显卡。而 PEFT 技术允许普通开发者用单张消费级显卡（如 RTX 4090）微调大模型。主流技术包括 LoRA, Prompt Tuning, Prefix Tuning 等。

24. LoRA (Low-Rank Adaptation)

• 中文翻译：低秩自适应
• 核心定义：最受工业界欢迎的 PEFT 技术。它冻结了预训练模型的所有原始权重，而是在其旁边增加旁路分支（两个低秩矩阵 A 和 B）。
• 深度解析：假设原始大矩阵是 10000 x 10000（1亿参数），LoRA 不去动它，而是加上一个 10000 x 8 的矩阵 A 和 8 x 10000 的矩阵 B。这两个小矩阵相乘也能得到 10000 x 10000 的矩阵，但需要训练的参数量只有 16 万（下降了几个数量级）。训练完成后，把小矩阵合并到大矩阵里，推理时不增加任何延迟。

25. Epoch / Batch Size / Learning Rate

• 中文翻译：训练轮次 / 批次大小 / 学习率

• 深度解析：

  • Epoch：完整过一遍整个训练数据集的次数。对于 LLM，预训练通常只有 1 个 Epoch（因为数据太多了，看一遍就够了），SFT 通常 2-4 个 Epoch。
  • Batch Size：模型一次性并行处理的样本数量。越大越稳定但越吃显存。
  • Learning Rate (LR)：步长。每次根据误差修正参数的幅度。太大容易学崩（Loss 爆炸），太小收敛太慢。

26. Catastrophic Forgetting

• 中文翻译：灾难性遗忘
• 核心定义：模型在学习新知识（SFT 微调特定垂直领域）时，大幅度丢失了预训练阶段学到的通用能力。
• 深度解析：比如你拿大量的医疗数据去微调一个模型，它变成了一个优秀的医生，但突然连“1+1=?”或者写首诗都不会了。缓解方法包括：混合通用数据集一起训练、控制学习率、使用 LoRA 等。

---

第五部分：应用与工程化 (Applications & Engineering)

模型训好了，怎么在实际业务中用好它？这就是当前 AI 工程师每天都在琢磨的事。

27. Prompt Engineering

• 中文翻译：提示词工程
• 核心定义：通过精心设计输入文本的结构、语气、限制条件和示例，引导 LLM 输出最理想结果的技术。
• 深度解析：俗称“AI 念咒”。进阶的提示工程不仅是说话清晰，还包括 Few-shot (少样本提示)：在问题前给模型看几个正确的问答例子；Role-playing (角色扮演)：设定模型的系统身份（System Prompt）以约束其语调边界。

28. CoT (Chain of Thought)

• 中文翻译：思维链
• 核心定义：一种提示技术，要求模型在给出最终答案前，先输出逐步推理的过程。
• 深度解析：经典的提示词是：“请一步一步地思考 (Let’s think step by step)”。这不仅能强迫模型理清逻辑，更重要的是为复杂的推理（如数学运算）争取了更多的计算周期（Token 数量），显著降低了逻辑幻觉。

29. RAG (Retrieval-Augmented Generation)

• 中文翻译：检索增强生成

• 核心定义：解决大模型“知识滞后”和“胡说八道”的最主流工程方案。将外部知识库检索（Search）与大模型生成（Generation）结合。

• 深度解析：流程如下：

  1. 用户提问。
  2. 系统不直接把问题给 LLM，而是拿着问题去企业私域数据库（通常是Vector Database 向量数据库）搜出最相关的 3 篇文档。
  3. 系统把这 3 篇文档加上用户的问题，打包组合成一条超长的 Prompt：“请根据以下参考资料回答用户问题：[资料…]，问题是：…”。
  4. LLM 总结出准确答案。

• 

30. Agent / Tool Use / Function Calling/ Skills

• 中文翻译：智能体 / 工具调用 / 函数调用/ 技能
• 核心定义：赋予大模型与外部物理世界或数字世界交互的能力。
• 深度解析：传统 LLM 只能“动嘴”。而 Agent 拥有了“手脚”。当用户问“深圳今天的天气”，模型发现自己不知道，但它知道自己有一个名为 get_weather(city) 的工具。它会输出一段特定的代码要求系统调用这个工具，系统执行 API 后把温度反馈给模型，模型再用人类语言回答用户。这就是 Function Calling 的本质。

31. Hallucination

• 中文翻译：幻觉
• 核心定义：模型生成了看似合理流畅，但实际上不符合事实、无中生有或违背逻辑的内容。
• 深度解析：大模型的本质是概率预测引擎，它天生就有“填补空白”的冲动（一本正经地胡说八道）。这并非是 bug，而是其创造力的副作用。解决幻觉主要依靠 RAG（用外部事实锚定）、调整 Temperature 参数以及更高质量的对齐训练。

---

第六部分：高阶架构与前沿结构 (Advanced Architecture)

为了让模型更大、更快、更强，研究人员对标准的 Transformer 进行了大量“魔改”。

32. MoE (Mixture of Experts)

• 中文翻译：混合专家模型
• 核心定义：一种在不显著增加推理计算量的前提下，大幅增加模型总参数量的架构技术（GPT-4、Grok-1、Mixtral 均采用此架构）。
• 深度解析：标准的模型（Dense Model）在处理任何一个词时，所有的神经网络层都会被激活。而 MoE 模型内部包含了多个“专家网络”（比如 8 个 FFN 层），并设有一个路由器 (Router)。对于输入的每个 Token，路由器只挑选最合适的 1 个或 2 个专家来处理。
• 比喻：就像一家大型综合医院。如果是普通模型（Dense），你不管得什么病，全院所有科室的医生都要集体会诊一次，极度低效；如果是 MoE 模型，导诊台（Router）会根据你的症状，直接把你分发给眼科或骨科专家（激活部分参数），既专业又省资源。

33. GQA (Grouped-Query Attention) / MQA (Multi-Query Attention)

• 中文翻译：分组查询注意力 / 多查询注意力

• 核心定义：对标准多头注意力机制（MHA）的变体，旨在大幅减少推理时的 KV Cache 显存占用。

• 深度解析：

  • MHA：每个注意力头都有自己独立的 Q, K, V 矩阵。
  • MQA：所有注意力头共享同一组 K 和 V 矩阵，极度省显存，但模型性能会有所下降。
  • GQA：目前的折中完美方案（被 LLaMA-2/3 广泛采用）。将注意力头分组，每组共享一组 K 和 V。比如 32 个头分成 8 组，每 4 个头共享 1 组 KV。

• 比喻：MHA 是每个经理（Query）配一个专属秘书（Key/Value）；MQA 是全公司 32 个经理共用 1 个秘书；GQA 是把 32 个经理分成 8 个部门，每个部门配 1 个秘书。

34. SwiGLU / GeLU

• 中文翻译：SwiGLU 激活函数
• 核心定义：目前大语言模型最主流的非线性激活函数，替代了早期的 ReLU。
• 深度解析：激活函数决定了神经元是否被“激活”。SwiGLU 结合了 Swish 函数和 GLU（门控线性单元）的特性。在 LLaMA 等模型中，它被证明能在相同的计算量下提供更好的性能和收敛效果。

35. SSM / Mamba (State Space Models)

• 中文翻译：状态空间模型
• 核心定义：目前被寄予厚望、极有可能挑战 Transformer 霸主地位的新型非注意力架构。
• 深度解析：Transformer 的致命弱点是“计算复杂度随上下文长度呈平方级增长”（长度翻倍，计算量翻 4 倍）。Mamba 等 SSM 架构通过复杂的控制理论和硬件感知设计，实现了线性时间复杂度。这意味着它在处理几百万字的超长文本时，速度极快且不怎么爆显存。

---

第七部分：深度对齐与微调算法 (Deep Alignment & Fine-Tuning)

在 RLHF 之后，开源社区为了让微调更加平民化、高效化，发明了许多替代算法。

36. DPO (Direct Preference Optimization)

• 中文翻译：直接偏好优化
• 核心定义：无需训练奖励模型（Reward Model）即可实现人类偏好对齐的轻量级算法。
• 深度解析：传统的 RLHF 过程极其繁琐，需要拉起多个模型。DPO 通过巧妙的数学推导，将“强化学习”问题转化为了简单的“分类”问题。你只需要喂给模型一对数据：一个好回答（Chosen）和一个坏回答（Rejected），利用交叉熵损失函数，模型就能直接学会“倾向好回答，远离坏回答”。
• 比喻：RLHF 是请一个严厉的教练（奖励模型）一直盯着运动员打分纠正；DPO 则是直接给运动员看比赛录像：“这个动作是对的，那个动作是错的，你自己体会对比一下”，效率大大提升。

37. KTO (Kahneman-Tversky Optimization)

• 中文翻译：前景理论优化
• 核心定义：基于行为经济学（前景理论）提出的一种比 DPO 门槛更低的对齐方法。
• 深度解析：DPO 必须要求数据是成对的（好坏对比）。但实际业务中，我们往往只有“点赞”或“踩”的单边数据。KTO 允许只使用“被标记为好（或坏）”的独立数据进行训练，它认为人类对损失（坏回答）的厌恶远大于对收益（好回答）的渴望，据此调整模型的权重。

38. Reward Hacking

• 中文翻译：奖励作弊 / 奖励黑客
• 核心定义：对齐训练中的一种常见翻车现象，模型找到了奖励函数的漏洞，用投机取巧的方式获得高分，但偏离了人类真正的意图。
• 深度解析：比如，如果你设置“回答越长得分越高”，模型就会变成“废话文学大师”；如果你设置“拒绝有害内容得分高”，模型可能会产生“过度拒绝（Over-refusal）”，连你问“如何杀灭电脑病毒”它都会以道德理由拒绝回答。

---

第八部分：推理加速与工程部署 (Inference & Deployment)

大模型在实验室训出来只是第一步，如何让它在廉价显卡上跑得又快又好，是算法工程师的核心KPI。

39. Quantization (PTQ / QAT / AWQ / GPTQ)

• 中文翻译：模型量化

• 核心定义：将模型权重从高精度浮点数（如 16位 FP16）压缩到低精度整数（如 8位 INT8 或 4位 INT4）的技术。

• 深度解析：

  • 好处：显存占用大幅缩小（比如 70B 模型原本需要 140GB 显存，量化到 4-bit 后只需约 40GB），推理速度成倍提升。
  • 代价：稍微损失一点模型能力。
  • 常见方法分为 PTQ（训练后量化） 和 QAT（量化感知训练）。目前 AWQ 和 GPTQ 是极为主流的 4-bit 压缩算法。

• 比喻：把一张 20MB 的超高清 BMP 图片，压缩成 2MB 的 JPEG 图片。虽然放大看细节有一点点糊，但不影响你认出图里的人是谁，且传输速度快了十倍。

40. PagedAttention / vLLM

• 中文翻译：分页注意力
• 核心定义：一种革命性的内存管理机制，解决了大模型并发推理时的显存碎片化问题。
• 深度解析：传统推理中，KV Cache 的长度是动态增长的，系统必须预留大块连续显存，导致大量显存闲置浪费（碎片化）。PagedAttention 借鉴了操作系统中的“虚拟内存分页”技术，将 KV Cache 拆解成固定大小的“块”，允许非连续存储。这使得大模型服务器的并发吞吐量（Throughput）提升了 2 到 4 倍。

41. FlashAttention (1/2/3)

• 中文翻译：闪电注意力
• 核心定义：一种 IO 感知的快速注意力计算算法。
• 深度解析：GPU 计算非常快，但从显存（HBM）读写数据很慢。FlashAttention 通过巧妙的分块计算逻辑，极大地减少了 GPU 内部的内存读写次数，将更多数据留在高速缓存（SRAM）中处理，不仅大幅提升了训练和推理速度，还显著降低了显存使用量。目前几乎所有大模型都在底层集成了此技术。

42. Speculative Decoding

• 中文翻译：投机解码
• 核心定义：利用一个快速的小模型来“草拟”文本，再由大模型来“验证”的加速推理方案。
• 深度解析：由于自回归生成是一字一字蹦的，大模型的大量算力浪费在等待内存读取上。投机解码让一个 7B 的小模型一口气快速猜出接下来的 5 个词，然后让 70B 的大模型并行看一眼这 5 个词，如果觉得对就直接接受（一次性生成 5 个词），如果发现第 3 个词错了，就从第 3 个词开始纠正。
• 比喻：就像老板（大模型）和秘书（小模型）。秘书先快速写出一段草稿，老板一眼扫过去，觉得没问题就直接签字发布，这比老板自己逐字敲键盘快得多。

---

第九部分：数据质量与模型评估 (Data & Evaluation)

43. Perplexity (PPL)

• 中文翻译：困惑度
• 核心定义：评估语言模型基础能力的一个核心指标，数值越低越好。
• 深度解析：困惑度衡量的是模型面对一段真实人类文本时“感到意外的程度”。如果模型预测下一个词的概率非常准，它的困惑度就很低；如果它经常猜错，困惑度就很高。

44. Data Contamination / Leakage

• 中文翻译：数据污染 / 数据泄露
• 核心定义：模型在训练阶段不小心“看到”了测试集的数据，导致跑分极高，但实际能力很弱的现象。
• 深度解析：现在的 LLM 动辄跑出超越人类的测试分数，很多时候是因为刷榜题库被混进了预训练语料中。为了防范，各大榜单现在都会使用复杂的去重算法来检测数据污染。
• 比喻：高考前，考生已经提前在模拟卷里做到了高考试卷的原题。

45. Ablation Study

• 中文翻译：消融实验
• 核心定义：在论文或工程中，通过逐步移除或替换模型的某个组件，来证明该组件有效性的实验方法。
• 深度解析：你宣称自己加了一个“超级注意力机制”让模型变强了。评审就会要求你做消融实验：把你的“超级”部分拿掉，换回普通的，看看性能下降多少。以此证明系统的成功不是玄学，而是归功于你提出的新结构。

---