一文详解Transformer架构，小白到高手的进阶之路

原创 于 2025-09-25 15:43:40 发布 · 879 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #架构 #深度学习 #LLM #大模型 #AI

部署运行你感兴趣的模型镜像

Transformer是一种深度学习架构，由Vaswani等人在2017年提出，完全依赖自注意力机制建模序列依赖关系。主要分为三类：纯编码器（如BERT，适合信息提取任务）、纯解码器（如GPT，适合生成任务）和编码器-解码器（如T5，适合序列到序列任务）。其核心组件包括自注意力层、前馈层和位置嵌入。Transformer彻底改变了序列数据处理方式，通过全局依赖捕捉和高度并行化提升了训练效率，为大规模预训练模型奠定了基础。

Transformer是一种在自然语言处理以及更广泛的序列建模任务中被广泛采用的深度学习架构，由Vaswani等人在2017年的论文《Attention is All You Need》[1]中首次提出。与以往的序列模型不同，Transformer最大的创新之处在于彻底摒弃了循环神经网络和卷积神经网络等传统结构，完全依赖一种被称为自注意力机制的方法来建模序列中不同位置之间的依赖关系。

Transformer基于编码器-解码器架构，该架构广泛用于机器翻译等任务中，即将一个单词序列从一种语言翻译成另一种语言。该架构由如图1所示的几个构建块组成。图1中展示了Transformer整体的编码器-解码器结构，各模块之间通过注意力机制相互作用，实现从输入到输出的转换[2]。

图1 Transformer的编码器-解码器架构

Transformer架构最初是为序列到序列的任务（如机器翻译）而设计的，但编码器和解码器模块很快就被抽出来单独形成模型。虽然Transformer模型已经有数百种不同的变体，但其中大部分属于“纯编码器”、“纯解码器”以及“编码器-解码器”三种类型之一。

一、纯编码器

这种架构通常被应用于提取信息的任务，例如新闻分类、情感分析、文档主题识别等，因为它能够利用上下文的双向信息生成精确的文本表示。BERT[3]及其变体，例如RoBERTa和DistilBERT，属于这类架构。此架构中为给定词元计算的表示取决于左侧（词元之前）和右侧（词元之后）上下文，这通常称为双向注意力。

图2 编码器层放大图

Transformer的编码器由许多编码器层相互堆叠而成。如图2所示，每个编码器层接收一系列嵌入，然后通过多头自注意力层和全连接前馈层进行馈送处理。但要想真正理解Transformer的工作原理，还需要更深入地研究它的构建模块：

1. 自注意力层：注意力机制是一种神经网络为序列中的每个元素分配不同权重或“注意力”的机制。自注意力的主要思想是，不是使用固定的嵌入值来表示每个词元，而是使用整个序列来计算每个嵌入值的加权平均值。

2. 前馈层：编码器和解码器中的前馈子层仅是一个简单的两层全连接神经网络，但有一点小小的不同：它不会将整个嵌入序列处理为单个向量，而是独立处理每个嵌入。

3. 位置嵌入：位置编码是用一个按向量排列的位置相关模式来增强词元嵌入。如果该模式对于每个位置都是特定的，那么每个栈中的注意力头和前馈层可以学习将位置信息融合到它们的转换中。 举个例子，如果句子是“我 爱 自然语言处理”，第一个“我”和第二个词“爱”在位置编码上会有不同的数值模式，模型因此能够区分它们在句子中的顺序。

二、纯解码器

这类架构适合需要从头到尾生成内容的场景，例如自动写作、代码生成、诗歌创作等任务。针对像“谢谢你的午餐，我有一个……”这样的文本提示，这类模型将通过迭代预测最可能的下一个词来自动完成这个序列。GPT模型[4]家族属于这一类。在这种架构中，对于给定词元计算出来的表示仅依赖于左侧的上下文。这通常称为因果或自回归注意力。

图3 Transformer解码器层放大图

解码器和编码器的主要区别在于解码器有两个注意力子层：

1. 掩码多头自注意力层：确保我们在每个时间步生成的词元只基于过去的输出和当前正在预测的词元。如果没有这样做，那么解码器将能够在训练时通过简单复制目标翻译来欺骗我们，导致训练失败。我们需要对输入进行掩码，以确保任务不是简单复制目标翻译。

2. 编码器-解码器注意力层：与自注意力层不同，编码器-解码器注意力中的key和query向量可能具有不同的长度。这是因为编码器和解码器输入通常涉及长度不同的序列。因此，此层中的注意力得分矩阵是矩形的，而不是正方形的。

三、编码器-解码器

这类模型用于对一个文本序列到另一个文本序列的复杂映射进行建模。它们适用于机器翻译和摘要任务。除了Transformer架构，它将编码器和解码器相结合，BART和T5模型[5]也属于这个类。

四、总结

总的来说，Transformer架构在诞生后的几年间，研究人员不断在不同规模、不同类型的数据集上进行探索，尝试设计新的预训练目标，并在结构上进行改进与优化。这些努力催生了数百种不同的Transformer变体，虽然它们在细节设计、训练方式和应用领域上各不相同，但从整体结构来看，依然可以归纳为三大类，如图4所示。

图4 Transformer最突出的架构及生命树

Transformer的出现彻底改变了深度学习对序列数据的处理方式。它以自注意力机制取代传统的循环和卷积结构，让模型能够在一次计算中捕捉全局依赖关系，并通过高度并行化显著提升训练与推理效率。这种设计不仅解决了长距离依赖难题，还为大规模预训练模型的发展奠定了基础，使NLP、计算机视觉、语音识别等领域都迎来了性能飞跃。在应用上，纯编码器适合信息提取类任务，如文本分类、情感分析；纯解码器专注生成式任务，如对话、内容创作；编码器-解码器则擅长翻译、摘要等序列到序列任务。未来，Transformer 的研究将聚焦于提升长序列处理效率、优化低资源场景表现，并探索与领域知识的深度融合，从而在更多实际应用中展现更强的价值与生命力。

参考文献

[1] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.

[2] Tunstall L, von Werra L, Wolf T. （叶伟民, 叶志远, 译.）Transformer自然语言处理实战[M]. 北京:机械工业出版社, 2024.

[3] Devlin J, Chang M W, Lee K, et al. Bert:Pre-training of deep bidirectional transformers for language understanding[C]//Proceedings of the 2019 conference of the North American chapter of the association for computational linguistics: human language technologies, volume 1 (long and short papers). 2019: 4171-4186.

[4] Radford A, Narasimhan K, Salimans T, et al. Improving language understanding by generative pre-training[J]. 2018.

[5] Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer[J]. Journal of machine learning research, 2020, 21(140): 1-67.

如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 大模型行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方优快云官方认证二维码，免费领取【保证100%免费】

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

Transformer
01-15 729
1.Transformer Transformer 是一种新的、基于 attention 机制来实现的特征提取器，可用于代替 CNN 和 RNN 来提取序列的特征。 Transformer 首次由论文 《Attention Is All You Need》 提出，在该论文中 Transformer 用于 encoder - decoder 架构。事实上 Transformer 可以单独应用于 encoder 或者单独应用于 decoder 。 Transformer 相比较 LSTM 等循环神经网络
Transformer模型简介
kuokay的博客
03-27 2万+
简介 Transformer 是 Google 团队在 17 年 6 月提出的 NLP 经典之作， 由 Ashish Vaswani 等人在 2017 年发表的论文 Attention Is All You Need 中提出。 Transformer 在机器翻译任务上的表现超过了 RNN，CNN，只用 encoder-decoder 和 attention 机制就能达到很好的效果，最大的优点是可以高效地并行化。 Transformer 整体结构 首先介绍 Transformer 的整体结构，下图是 Tra
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 60万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
Transformer结构与论文解读
helluy的博客
01-11 2184
transformer架构是 Google 团队在 17 年 6 月提出的 NLP 经典之作，由 Ashish Vaswani 等人在 2017 年发表的论文 Attention Is All You Need 中提出，最早使用在机器翻译中，在WMT 2014英德翻译任务中获得28.4个BLEU，比现有的最佳结果(包括集合)提高了2个BLEU，也打开了NLP领域预训练这一新范式。 论文地址：[Attention Is All You Need](https://arxiv.org/pdf/1706.037
Transformer是什么？如何理解Transformer？
Time_Memory_cici的博客
07-24 3221
Transformer的关键特点是其自注意力机制（Self-Attention Mechanism），它允许模型在处理数据时考虑输入序列的不同部分之间的关系。编码器和解码器由多个层堆叠而成。：Transformer模型也被应用于图像处理任务，例如图像分类和目标检测（例如Vision Transformer，ViT）。Transformer：是一种特殊的神经网络，一种机器学习模型，它是当今AI热潮的核心发明。机器学习都是数据驱动的，就是学习参数，拟合我们希望的结果，GPT-3的参数多达1750亿个。
一文彻底搞懂Transformer - 总体架构
2401_85377976的博客
08-14 1619
***编码器：****。**c**Transformer本质:Transformer是一种基于自注意力机制的深度学习模型，为了解决RNN无法处理长序列依赖问题而设计的。输入嵌入：将输入的文本转换为向量，便于模型处理。位置编码：给输入向量添加位置信息，因为Transformer并行处理数据而不依赖顺序。多头注意力：让模型同时关注输入序列的不同部分，捕获复杂的依赖关系。残差连接与层归一化：通过添加跨层连接和标准化输出，帮助模型更好地训练，防止梯度问题。
Mamba技术背景详解：从RNN到Mamba一文搞定！
weixin_51702416的博客
05-15 1441
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。中间状态不会被保存，但对于向后传递计算梯度是必需的。网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。有了连续的输入信号，我们可以生成连续的输出，并且仅根据输入的时间步长对值进行采样，采样值就是我们的离散输出。
人工智能、机器学习、深度学习从入门到进阶学习资料整理
the_cleaner的博客
04-01 1301
AI方面的学习资料，包含了学习社区、入门教程、汲取学习、深度学习、自然语言处理、计算机视觉、数据分析、面试和书籍等方面的知识。
机器学习、深度学习、神经网络学习资料集合(开发必备)
henhenha的博客
04-01 934
AI方面的学习资料，包含了学习社区、入门教程、汲取学习、深度学习、自然语言处理、计算机视觉、数据分析、面试和书籍等方面的知识。
深度学习路线总结 (含链接)
2301_79695159的博客
07-25 1743
深度学习资料链接总结
2.2 主流大模型架构：GPT、DeepSeek、GLM、Claude、QwQ、Qwen2.5-Max等模型的比较与应用场景
keyboard专栏
04-23 3283
OpenAI的GPT系列、DeepSeek的R1和R2、清华大学GLM、Anthropic的Claude、阿里巴巴的QwQ以及Qwen2.5-Max代表了当前大模型技术的顶尖水平。GPT-4o在多模态和通用任务中领先，DeepSeek和QwQ在STEM应用中占优，GLM-4和Qwen2.5-Max在中文和多语言场景中表现出色，Claude则以安全性和长上下文能力著称。最新版本包括GPT-3.5、GPT-4、GPT-4o和GPT-4.5（截至2025年4月），在GPT-3基础上进一步扩展了规模和功能。
Transformer中16个注意力头一定要比1个注意力头效果好吗？
abcdefg90876的博客
03-31 5232
作者：Paul Michel编译：ronghuaiyang导读多头注意力中的冗余分析，看看是否可以在不影响性能的情况下做剪枝。“Hercules Slaying the Hydra”,...
详解一个算法，Transformer
xiangxueerfei的博客
08-03 1836
今天给大家分享一个超强的算法模型， TransformerTransformer 模型是一种用于自然语言处理（NLP）任务的深度学习模型，它由 Vaswani 等人在2017年提出。Transformer 模型的核心思想是利用自注意力机制（self-attention）来捕捉输入序列中的全局依赖关系，取代传统的循环神经网络（RNN）和长短期记忆网络（LSTM）。1.Transformer 模型架构Transformer 模型的架构如下图所示。
Transformer模型解析（附案例应用代码）
LIUMAO99的博客
08-14 7361
自注意力机制是Transformer模型的核心，它允许模型在编码每个单词时同时关注序列中的其他单词，从而捕捉到单词之间的依赖关系。位置编码的生成使用了正弦和余弦函数的不同频率，以确保编码在不同维度上具有不同的模式，从而使模型能够区分不同位置的单词。这样，每个头可以学习到序列的不同方面，最终的输出是所有头输出的连接和线性变换的结果。通过结合残差连接和层归一化，Transformer模型能够有效地训练深层网络，同时保持稳定的梯度流动和良好的特征分布，这对于理解和生成复杂的序列数据至关重要。
transformer
zhangxu
09-28 4352
transformer最早于2017年google机器翻译团队提出，也就是著名的 《Attention Is All You Need》，transformer完全取代了以往的RNN和CNN结构，改为由transformer堆叠的方式构建模型。 transformer在NLP领域首先取得了非常惊人的效果，随后DETR首次将transformer引入到了CV的目标检测任务重，随后VIT完全抛弃了CNN，改为完全由transformer实现基础的图像分类任务，之后transformer在CV领域的应用也变得一发
AI科普-Transformer
2401_85199775的博客
03-14 962
AI科普-Transformer
一文详解Vision Transformer
最新发布
05-20
### Vision Transformer (ViT) 的详细解释、原理、架构与实现 #### ViT 的核心概念 Vision Transformer 是一种基于 Transformer 架构的深度学习模型，其设计初衷是为了处理视觉任务。传统的卷积神经网络（CNNs）主导了计算机视觉领域多年，然而随着自然语言处理中 Transformer 的成功应用，研究者们尝试将其扩展到图像识别等领域。ViT 将图像分割成固定大小的小块（patches），并通过线性变换将这些小块映射为一维向量序列[^1]。 #### 图像预处理流程 在实际应用中，输入的高分辨率图像会被划分为多个不重叠的小块（flattened patches）。每个 patch 被视为独立的 token，并通过一个可训练的线性层投影至统一维度的空间。这一过程被称为 **Linear Projection of Flattened Patches**，它是 ViT 模型的关键部分之一[^3]。 #### 自注意力机制的作用 自注意力机制允许模型动态调整不同区域的重要性权重，从而捕捉全局依赖关系。相比于 CNN 中局部感受野的设计理念，Transformer 可以一次性关注整个输入序列，这使得它更适合建模复杂的长距离交互模式。具体来说，在编码器阶段，每个多头注意力模块会计算 query、key 和 value 向量之间的相似度得分，进而生成加权后的特征表示[^2]。 #### 位置嵌入的意义 由于原始 Transformer 设计用于处理顺序数据（如文本句子），因此需要引入额外的位置信息来保留 tokens 在原图中的空间布局特性。通常采用的方法是在输入 embedding 上叠加一组固定的正弦/余弦波形或者随机初始化并随时间优化得到的学习型参数作为绝对位置编码[^2]。 #### 整体架构描述 完整的 ViT 结构由以下几个组件构成： - 输入准备：把图片切分成若干个相同尺寸的patch； - Embedding 层：执行上述提到过的 flatten operation 加 linear transformation 得到初始 embeddings； - Positional Encoding 添加步骤； - 多层堆叠的标准 transformer encoder blocks —— 包含 multi-head self attention layer 和 feed forward network layers； - Classification head 输出最终预测类别概率分布。 以下是 Python 实现的一个简化版例子： ```python import torch from torch import nn, optim class PatchEmbedding(nn.Module): def __init__(self, img_size=224, patch_size=16, embed_dim=768): super().__init__() num_patches = (img_size // patch_size)**2 self.patch_embeddings = nn.Conv2d(3, embed_dim, kernel_size=patch_size, stride=patch_size) def forward(self, x): x = self.patch_embeddings(x).flatten(2).transpose(1, 2) return x class MultiHeadAttention(nn.Module): pass # Implementation omitted for brevity. class EncoderBlock(nn.Module): pass # Implementation omitted for brevity. class VisionTransformer(nn.Module): def __init__(self,...): ... model = VisionTransformer() criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 以上代码片段仅展示了如何定义基本构建单元以及搭建整体框架的大致思路，并未包含全部细节内容。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值