那些连Transformer都搞不懂的AI工程师和传统程序员没什么区别！

你是不是曾经看了不下几十篇关于Transformer的视频和教程，但最后对于Q、K、V（查询、键、值）依然感到一头雾水？简历中写的精通Transformer，又害怕面试官问到，别担心，这是很多AI学习者的共同困惑。原来我搞了半年只搞懂前面五步，确实比较难，但是只要肯钻研，迟早能一点一点理解。今天，我不会给你晦涩的数学公式堆砌，而是用一个步骤清晰例子，帮你真正掌握Transformer的工作流程，尤其是那个让人困惑的自注意力机制。

一、为什么Transformer这么重要？

在ChatGPT和各种大语言模型风靡全球的今天，Transformer已经成为了自然语言处理的基石。从2017年提出至今，Transformer架构已经彻底改变了NLP领域的格局：

• GPT（生成式预训练Transformer）系列模型基于Transformer的解码器
• BERT（双向编码表示Transformer）基于Transformer的编码器
• Claude、LLaMA、DeepSeek等各种顶尖模型都以Transformer为基础架构

为什么Transformer能取得如此巨大的成功？核心在于它能有效处理序列数据中的长距离依赖关系，而这主要依靠的就是其创新的注意力机制。然而，即使是许多AI从业者，也往往对注意力机制的数学原理感到困惑。

二、从头开始：构建迷你数据集

真实的语言模型通常使用海量数据训练——以ChatGPT为例，其训练数据高达570GB。但为了讲清原理，我们将使用一个极小的数据集进行可视化计算演示。通过这种方式，我们可以亲手追踪数据在Transformer架构中的流动过程。

第1步：计算词汇量（Vocabulary Size）

首先，我们需要确定数据集中独特单词的总数，这就是所谓的"词汇量"。这个概念很好理解：假设我们有一段文本"我喜欢机器学习，机器学习很有趣"，分词后得到[“我”，“喜欢”，“机器”，“学习”，“，”，“机器”，“学习”，“很”，“有趣”]，去重后得到[“我”，“喜欢”，“机器”，“学习”，“，”，“很”，“有趣”]，所以词汇量为7。

计算词汇量的步骤：

1. 将整个数据集分割成单个token（通常是单词或子词）
2. 去除重复的token，得到唯一token集合
3. 计算这个集合的大小，即为词汇量

在我们的迷你例子中，经过上述步骤计算，词汇量为23个独特单词。这个词汇表将用于后续的编码过程。

第2步：编码（Encoding）—— 将文本转化为数字

神经网络无法直接处理文本，我们需要将文本转换为数字表示。编码就是为每个独特单词分配一个唯一的数字ID的过程。

例如，我们可以这样编码：

• “when” → 1
• “you” → 2
• “play” → 3
• …以此类推

现代大语言模型通常不会将整个单词作为一个token，而是将单词拆分为更小的部分（子词或字符）。例如，"learning"可能会被拆分为"learn"和"ing"两个token。ChatGPT使用的分词规则大约是：1个token ≈ 0.75个单词。这种分词方式有几个明显优势：

1. 更有效地处理稀有词和未知词
2. 减少词汇表大小，降低模型复杂度
3. 更好地处理多语言文本
4. 捕捉词缀和词根的语义信息

编码完成后，我们就可以开始处理这些数字化的文本了。

第3步：词嵌入（Word Embedding）—— 将ID转化为向量

单纯的数字ID并不能反映单词之间的语义关系，例如"国王"和"皇后"的关系与"男人"和"女人"的关系是相似的，但从ID上看不出这一点。因此，我们需要将这些ID转换为多维向量，即词嵌入。

假设我们选取了一个句子："when you play the game of thrones"作为输入。首先需要对这个句子中的每个单词生成词嵌入向量。

原始的Transformer论文使用了512维的嵌入向量，这意味着每个单词被表示为一个包含512个数字的向量。但为了便于我们可视化和理解，本例中我们只使用6维向量。

具体来说，对于句子中的每个单词，我们都会生成一个6维向量：

• “when”：[0.23, 0.56, 0.12, 0.87, 0.41, 0.33]
• “you”：[0.71, 0.28, 0.59, 0.12, 0.65, 0.92]
• 以此类推…

这些词嵌入向量的初始值设置为0到1之间的随机数。随着模型的训练，这些向量会不断更新，逐渐捕捉到单词之间的语义关系。例如，语义相近的单词，如"狗"和"猫"，它们的嵌入向量在高维空间中的距离会变得相对较近。

第4步：位置嵌入（Positional Embedding）—— 保留位置信息

Transformer架构的一个独特之处在于它能够并行处理序列中的所有单词，这大大提高了训练效率。但这也带来了一个问题：模型会"忘记"单词在序列中的位置信息。比如"猫追狗"和"狗追猫"包含相同的单词，但意思完全不同。

为了解决这个问题，Transformer引入了位置嵌入，为每个位置生成一个独特的向量，然后将其与词嵌入相加。

位置嵌入的计算公式为：

• 对于偶数维度：PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
• 对于奇数维度：PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

其中：

• pos是单词在序列中的位置（从0开始）
• i是向量中的维度索引
• d_model是嵌入向量的维度（在我们的例子中是6）

以句子"when you play the game of thrones"为例，第一个词"when"的位置索引为0。我们需要计算它在6维空间中的位置嵌入：

1. 维度0（偶数）：sin(0 / 10000^(0/6)) = sin(0) = 0
2. 维度1（奇数）：cos(0 / 10000^(0/6)) = cos(0) = 1
3. 维度2（偶数）：sin(0 / 10000^(2/6)) = sin(0) = 0
4. 维度3（奇数）：cos(0 / 10000^(2/6)) = cos(0) = 1
5. 维度4（偶数）：sin(0 / 10000^(4/6)) = sin(0) = 0
6. 维度5（奇数）：cos(0 / 10000^(4/6)) = cos(0) = 1

因此，"when"的位置嵌入为[0, 1, 0, 1, 0, 1]。

同理，我们可以计算句子中每个单词的位置嵌入。这种设计非常巧妙，它使得位置嵌入具有以下特性：

1. 每个位置都有唯一的编码
2. 不同位置之间的相对距离可以通过位置嵌入之间的函数关系来衡量
3. 位置嵌入的值域有界，不会随着序列长度的增加而爆炸
4. 可以处理任意长度的序列，即使是训练数据中未见过的长度

第5步：合并词嵌入和位置嵌入 —— 输入表示的完整形式

将词嵌入和位置嵌入相加，我们得到了每个单词的完整表示。以"when"为例：

词嵌入：[0.23, 0.56, 0.12, 0.87, 0.41, 0.33] 位置嵌入：[0, 1, 0, 1, 0, 1] 相加后：[0.23, 1.56, 0.12, 1.87, 0.41, 1.33]

这样，每个单词不仅包含了其语义信息，还包含了位置信息。这个合并后的向量矩阵将作为编码器部分的输入。

假设我们的句子有7个单词，每个单词用6维向量表示，那么输入矩阵的形状为7×6。这个矩阵中的每一行对应一个单词，每一列对应嵌入向量的一个维度。

第6步：多头注意力机制（Multi-Head Attention）—— Transformer的核心创新

现在，我们终于来到了Transformer的精髓部分——多头注意力机制。这是理解Q、K、V（查询、键、值）概念的关键环节。

1、单头注意力机制的工作原理

首先，让我们理解什么是单头注意力机制。它有三个关键输入：查询（Query）、键（Key）和值（Value）。这三个概念源自信息检索系统：

• 查询（Query）：你想要查找的信息
• 键（Key）：用于索引的信息标签
• 值（Value）：与键关联的实际内容

在Transformer中，这三个矩阵是通过将输入矩阵（词嵌入+位置嵌入）乘以三个不同的权重矩阵得到的：

1. 查询矩阵Q = 输入矩阵 × W^Q
2. 键矩阵K = 输入矩阵 × W^K
3. 值矩阵V = 输入矩阵 × W^V

其中WQ、WK、W^V是需要学习的权重矩阵。

以计算查询矩阵为例，假设：

• 输入矩阵大小为7×6（7个单词，每个用6维向量表示）
• 权重矩阵W^Q大小为6×4（将6维降为4维）

那么：

• 查询矩阵Q的大小为7×4（7个单词，每个用4维向量表示）

计算过程中，权重矩阵的初始值为0到1之间的随机数，随着训练过程会不断优化调整。

同理，我们可以计算出键矩阵K和值矩阵V，它们与查询矩阵的维度相同（在本例中都是7×4），但由于使用了不同的权重矩阵，所以值不同。

2、注意力权重的计算 —— "注意力"的含义

有了Q、K、V三个矩阵，接下来我们计算注意力权重。注意力权重决定了模型在处理某个位置的单词时，应该"关注"序列中其他哪些位置的单词，以及关注的程度。

计算注意力权重的步骤：

1. 计算注意力分数：将查询矩阵Q与键矩阵K的转置相乘，得到一个7×7的矩阵（因为我们有7个单词）。这个矩阵中的每个元素表示对应位置单词之间的关联强度。 注意力分数 = Q × K^T
2. 缩放：为了避免梯度消失问题，将注意力分数除以键向量维度的平方根（在我们的例子中是√4 = 2）。 缩放后的注意力分数 = 注意力分数 / √d_k
3. Softmax归一化：对缩放后的注意力分数矩阵的每一行应用softmax函数，将每行转换为概率分布（所有元素都非负且和为1）。这就是最终的注意力权重矩阵。 注意力权重 = softmax(缩放后的注意力分数)
4. 加权求和：将注意力权重矩阵与值矩阵V相乘，得到加权后的值矩阵，也就是注意力层的输出。 输出 = 注意力权重 × V

这个过程的数学表达式为：

Attention(Q, K, V) = softmax(QK^T / √d_k) × V

通过这个计算过程，每个位置的输出都是所有位置的值的加权和，权重由该位置的查询与所有位置的键的相似度决定。这就是"注意力"的本质——模型能够根据上下文动态地决定应该关注序列中的哪些部分。

3、多头注意力的组合 —— 多角度观察信息

单头注意力只能捕捉一种特定类型的关系模式。为了增强模型的表达能力，Transformer使用了多头注意力机制，即并行运行多个单头注意力，然后将它们的输出拼接起来。

多头注意力的步骤：

1. 使用不同的权重矩阵W^Q_i、WK_i、W^V_i（i=1,2,…,h，h为头数）生成多组Q、K、V
2. 对每组Q、K、V独立计算注意力输出
3. 将所有头的输出拼接起来
4. 通过一个线性变换将拼接后的矩阵映射回原始维度

在原始Transformer论文中，作者使用了8个注意力头。在我们的简化例子中，假设我们使用2个头，每个头的输出维度为2（总共4维，与单头保持一致）。

多头注意力的数学表达式为：

MultiHead(Q, K, V) = Concat(head_1, head_2, …, head_h) × W^O

其中：

• head_i = Attention(Q × W^Q_i, K × W^K_i, V × W^V_i)
• W^O是将拼接后的矩阵映射回原始维度的权重矩阵

这种设计使模型能够同时关注不同子空间中的信息，大大增强了模型的表达能力。例如，一个注意力头可能关注句法关系，另一个可能关注语义关联，从而使模型能够全面理解文本。

第7步：残差连接与层归一化（Add & Norm）—— 稳定训练的关键

多头注意力的输出经过两个重要处理：残差连接和层归一化。

1、残差连接（Residual Connection）

残差连接的思想来自ResNet，它将多头注意力的输入直接加到其输出上：

输出 = 多头注意力(输入) + 输入

这种设计有几个关键优势：

1. 缓解梯度消失问题，使深层网络更容易训练
2. 允许信息无损地流过网络层
3. 使网络能够更容易地学习恒等映射，保留已经学到的特征

2、层归一化（Layer Normalization）

残差连接后，应用层归一化进一步稳定训练：

归一化 = LayerNorm(输出)

层归一化的步骤：

1. 计算每一行（对应一个单词）的均值和标准差
2. 将每个元素减去均值，再除以标准差
3. 应用可学习的缩放和偏移参数

数学表达式：

LayerNorm(x) = γ × ((x - μ) / (σ + ε)) + β

其中：

• μ是行均值
• σ是行标准差
• ε是一个小常数（通常为10^-8），防止除零错误
• γ和β是可学习的参数

层归一化有几个重要作用：

1. 减少内部协变量偏移（internal covariate shift）
2. 加速训练收敛
3. 提高模型泛化能力
4. 降低对参数初始化的敏感性

第8步：前馈神经网络（Feed-Forward Network）—— 增强非线性表达

归一化后的矩阵通过一个前馈神经网络（FFN）处理，这是一个包含两个线性变换和一个ReLU激活函数的简单网络：

FFN(x) = max(0, xW_1 + b_1)W_2 + b_2

具体步骤：

1. 第一个线性变换：将输入从d_model维（我们的例子中是6维）映射到d_ff维（通常是d_model的4倍，但在我们的简化例子中可以使用相同维度）
2. ReLU激活：将所有负值置为0
3. 第二个线性变换：将特征映射回d_model维

以我们的例子来说：

• 输入矩阵大小为7×6
• 第一个权重矩阵大小为6×6，得到7×6的输出
• 应用ReLU激活
• 第二个权重矩阵大小也为6×6，最终输出大小为7×6

前馈网络的主要作用是增强模型的非线性表达能力，让模型能够学习更复杂的特征变换。每个位置的前馈网络是独立的，所以可以看作是对每个位置进行独立的特征处理。

第9步：再次进行残差连接与层归一化 —— 深层网络的稳定器

前馈网络的输出再次与其输入（即上一步的归一化输出）相加，然后再次进行层归一化：

输出 = LayerNorm(FFN(归一化) + 归一化)

这个连续的残差连接和层归一化过程对于构建深层Transformer至关重要，它能够有效防止梯度消失和梯度爆炸问题，使得网络可以轻松堆叠多层而不影响训练稳定性。

完成这一步后，我们得到了编码器的最终输出。这个输出将作为解码器中跨注意力层的键和值输入。

第10步：解码器部分 —— 从理解到生成

解码器的结构与编码器类似，但有两个关键区别：

1. 解码器包含一个额外的跨注意力层，用于处理编码器的输出
2. 解码器中的自注意力层是带掩码的，确保预测位置i只能访问位置0到i-1的信息

解码器有两个主要输入：

1. 来自编码器的输出（作为跨注意力层的键K和值V）
2. 目标序列的嵌入（作为自注意力层的输入和跨注意力层的查询Q）

1、训练阶段与推理阶段的区别

在训练阶段，目标序列是已知的目标文本。例如，如果编码器的输入是"when you play the game of thrones"，解码器的目标可能是"you win or you die"。

而在推理（生成）阶段，解码器是逐步生成文本的：

1. 首先输入起始标记
2. 生成第一个词（如"you"）
3. 将 you作为新的输入
4. 生成第二个词（如"win"）
5. 将 you win作为新的输入
6. 依此类推，直到生成结束标记或达到最大长度限制

2、掩码多头注意力的工作原理 —— 防止"作弊"

掩码多头注意力是解码器的一个关键组件，它确保模型在预测第i个词时，只能看到前i-1个词的信息，而不能"偷看"未来的信息。

比如在预测"you win or you die"中的"or"时，模型只能看到"you win"，而不能看到后面的"you die"。

具体实现方法是在注意力分数矩阵中应用掩码：

1. 创建一个上三角全为负无穷的掩码矩阵
2. 将此掩码加到注意力分数矩阵上
3. 应用softmax函数

由于exp(-∞) ≈ 0，所以经过softmax后，未来位置的注意力权重接近0，从而实现了"看不到未来"的效果。

掩码多头注意力的数学表达式为：

MaskedAttention(Q, K, V) = softmax((QK^T / √d_k) + Mask) × V

这种机制对于序列生成任务至关重要，因为它符合人类自然语言生成的顺序特性——我们写一个句子时也是一个词一个词地写，而不是一次性写出整个句子。

第11步：预测单词 —— 从特征到词汇

解码器的最终输出通过一个线性层和softmax函数转换为词汇表中各个单词的概率分布：

1. 线性变换：将解码器输出从d_model维（6维）映射到词汇量大小（23维）
2. 应用softmax函数，得到每个单词的生成概率
3. 选择概率最高的单词作为预测结果

例如，如果经过计算，"you"的概率为0.85，其他单词的概率都小于0.05，那么模型会选择"you"作为当前步的预测结果。

这个预测的单词将作为下一步解码器的输入，整个过程不断重复，直到生成特殊的结束标记或达到最大长度限制。

三、总结

至此，我们已经详细拆解了Transformer的每一个组件和工作步骤。Transformer的强大之处主要体现在以下几点：

1. 并行计算：与RNN不同，Transformer能够并行处理整个序列，大大提高了训练效率。
2. 长距离依赖：通过自注意力机制，Transformer能够直接建立序列中任意两个位置之间的联系，有效捕捉长距离依赖关系，克服了RNN中的梯度消失问题。
3. 多头机制：多头注意力允许模型同时关注不同子空间的信息，增强了模型的表达能力。
4. 残差连接：残差连接和层归一化的组合使得Transformer能够轻松堆叠多层，构建深层网络。

虽然现代的大语言模型（如GPT、LLaMA、Claude、DeepSeek等）在Transformer的基础上做了很多改进和优化，但核心的注意力机制原理仍然不变。理解了Transformer的工作原理，你就掌握了理解现代大语言模型的基础。

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！