【转】图解Transformer，一文读懂self-attention

最新推荐文章于 2025-07-09 15:12:08 发布
原创 最新推荐文章于 2025-07-09 15:12:08 发布 · 5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transform

https://jalammar.github.io/illustrated-transformer/

https://blog.youkuaiyun.com/qq_41664845/article/details/84969266

前言
      Attention这种机制最开始应用于机器翻译的任务中，并且取得了巨大的成就，因而在最近的深度学习模型中受到了大量的关注。在在这个基础上，我们提出一种完全基于Attention机制来加速深度学习训练过程的算法模型-Transformer。事实证明Transformer结构在特定任务上已经优于了谷歌的神经网络机器翻译模型。但是，Transformer最大的优势在于其在并行化处理上做出的贡献。谷歌也在利用Transformer的并行化方式来营销自己的云TPU。所以，现在让我们一步一步剖析Transformer的神秘面纱，让我看看他是怎么一步一步训练的。

     Transformer在Goole的一篇论文Attention is All You Need被提出，为了方便实现调用Transformer Google还开源了一个第三方库，基于TensorFlow的Tensor2Tensor，一个NLP的社区研究者贡献了一个Torch版本的支持：guide annotating the paper with PyTorch implementation。这里，我想用一些方便理解的方式来一步一步解释Transformer的训练过程，这样即便你没有很深的深度学习知识你也能大概明白其中的原理。

A High-Level Look
       我们先把Transformer想象成一个黑匣子，在机器翻译的领域中，这个黑匣子的功能就是输入一种语言然后将它翻译成其他语言。如下图：

掀起The Transformer的盖头，我们看到在这个黑匣子由2个部分组成，一个Encoders和一个Decoders。

我们再对这个黑匣子进一步的剖析，发现每个Encoders中分别由6个Encoder组成（论文中是这样配置的）。而每个Decoders中同样也是由6个Decoder组成。

对于Encoders中的每一个Encoder，他们结构都是相同的，但是并不会共享权值。每层Encoder有2个部分组成，如下图： 

每个Encoder的输入首先会通过一个self-attention层，通过self-attention层帮助Endcoder在编码单词的过程中查看输入序列中的其他单词。如果你不清楚这里在说什么，不用着急，之后我们会详细介绍self-attention的。

Self-attention的输出会被传入一个全连接的前馈神经网络，每个encoder的前馈神经网络参数个数都是相同的，但是他们的作用是独立的。

每个Decoder也同样具有这样的层级结构，但是在这之间有一个Attention层，帮助Decoder专注于与输入句子中对应的那个单词（类似与seq2seq models的结构）

Bringing The Tensors Into The Picture
      在上一节，我们介绍了Transformer的网络结构。现在我们以图示的方式来研究Transformer模型中各种张量/向量，观察从输入到输出的过程中这些数据在各个网络结构中的流动。

      首先还是NLP的常规做法，先做一个词嵌入：什么是文本的词嵌入？

      我们将每个单词编码为一个512维度的向量，我们用上面这张简短的图形来表示这些向量。词嵌入的过程只发生在最底层的Encoder。但是对于所有的Encoder来说，你都可以按下图来理解。输入（一个向量的列表，每个向量的维度为512维，在最底层Encoder作用是词嵌入，其他层就是其前一层的output）。另外这个列表的大小和词向量维度的大小都是可以设置的超参数。一般情况下，它是我们训练数据集中最长的句子的长度。

     上图其实介绍到了一个Transformer的关键点。你注意观察，在每个单词进入Self-Attention层后都会有一个对应的输出。Self-Attention层中的输入和输出是存在依赖关系的，而前馈层则没有依赖，所以在前馈层，我们可以用到并行化来提升速率。

    下面我用一个简短的句子作为例子，来一步一步推导transformer每个子层的数据流动过程。

Now We’re Encoding!
   &nb

最低0.47元/天 解锁文章

200万优质内容无限畅学
一文读懂「Attention」注意力机制
女王の专属领地
01-08 1465
Attention（注意力）机制如果浅层的理解，核心逻辑就是**「从关注全部到关注重点」**。Attention 机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。视觉系统就是一种Attention机制，将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。销售在销售东西的时候，不同角色关注到的重点不一样。
图解 Transformer
张贤的博客
08-25 888
本文翻译自 : http://jalammar.github.io/illustrated-transformer/。是我看过的把 Transformer 讲解得最好的文章：这篇文章从输入开始，一步一步演示了数据在 Transformer 中的流动过程。由于看过一些中文翻译的文章，感觉不够好，所以我自己翻译了一个版本，在一些难以直译的地方，我加入了一些原文没有的文字说明，来更好地解释概念。另外，我添加了一些简单的代码，实现了一个基本的 self-attention 以及 multi-head attent.
图解Transformer（完整版）
lvlei19911108的博客
06-15 1069
结构总览前言本文翻译自http://jalammar.github.io/illustrated-transformer，是笔者看过的把 Transformer 讲解得最好的文章。这篇文章从输入开始，一步一步演示了数据在 Transformer 中的流动过程。由于看过一些中文翻译的文章，感觉不够好，所以我自己翻译了一个版本，在一些难以直译的地方，我加入了一些原文没有的文字说明，来更好地解释...
Self-Attention 机制详解
最新发布
weixin_67868534的博客
07-09 700
Self-Attention是Transformer的核心机制，通过动态计算词间关系来捕捉长距离依赖。它将每个词映射为查询、键、值三个向量，通过计算查询与键的相似度获得注意力权重，再用权重加权组合值向量得到包含全局信息的词表示。相比RNN和CNN，Self-Attention能并行处理整个序列，动态调整关注权重，但计算复杂度随序列长度呈平方增长。该机制为Transformer在NLP等领域的突破性表现奠定了基础。
图变换器：为图数据增强神经网络架构
人工智能讲师分享前沿技术
09-24 1460
人工智能咨询培训老师叶梓 转载标明出处当面对图数据时，尤其是那些拓扑结构重要的图，传统的 Transformer 架构并未能充分利用图的连接性特征，导致性能受限。为了解决这一问题，新加坡南洋理工大学的研究人员提出了一种新的神经网络架构——图变换器（Graph Transformer），以泛化 Transformer 模型至任意图。
图解Transformer
Drug discovery
01-14 4952
4.1 计算Query 向量，Key 向量，Value 向量 下面我们先看下如何使用向量来计算 Self Attention，然后再看下如何使用矩阵来实现 Self Attention。（矩阵运算的方式，使得 Self Attention 的计算能够并行化，这也是 Self Attention 最终的实现方式）。 计算 Self Attention 的第 1 步是：创建Q、K、V变量，即对输入编码器的每个词向量，都创建 3 个向量，分别是：Query 向量，Key 向量，Value 向量。这 3 个向量
图解Self-Attention和代码实现，大语言模型基础思维导图
Ace_bb的博客
09-16 1478
自注意力机制(Self-Attention)虽然强大，但在实际应用中也存在一些问题，以下是一些主要问题以及相应的解决方案:1.
深入理解 Bert核心：Self-Attention与transformer
zhong_ddbb的博客
07-24 3443
文章目录Attention机制基本思想Attention机制的权值transformer中的self-Attentionself-Attention多头机制self-Attention位置信息的表达Transformer 本文主要讲解Bert模型的核心：transformer。transformer利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度，充分发掘DNN模型的特性，提升模型准确率。通过先讲解Attention机制，再讲解Transformer模型，理
第TR2周：图解Self-Attention与Multi-Head Attention
03-20
好的，我现在需要详细解释Self-Attention和Multi-Head Attention的工作原理，并配上图解。首先，我应该从基本概念入手，明确两者的定义和区别。根据用户提供的引用资料，Self-Attention是自注意力机制，而Multi-Head...
Graph Transformer Networks（图Transformer网络）
热门推荐
垃圾就应该待在垃圾桶里的博客
03-25 1万+
Graph Transformer Networks与2019年发表在NeurIPS上 文章目录摘要一、Introduction二、Related Works三、Method3.1准备工作3.2 Meta-Path Generation3.3 Graph Transformer NetworksConclusion个人总结 摘要 图神经网络(GNNs)已被广泛应用于图形的表示学习，并在节点分类和链路预测等任务中取得了最先进的性能。然而，大多数现有的神经网络被设计来学习固定和同构图上的节点表示。当学习由各
Transformer完全图解
weixin_44305115的博客
10-09 8068
在学习Transformer之前，你需要学习一下Seq2Seq Attention的内容，可以参考： 几张图彻底搞定Seq2Seq Seq2Seq Attention(这三篇就够了，精心发掘整理) Seq2Seq Attention输入输出维度分析(最全面细致) 好了，那下面进入正文 Transformer在2017年Google的一篇论文“Attention Is All You Need”被提...
「图Transformers」综述
强化学习曾小健
07-17 851
除了技术分析，我们还讨论了图Transformer模型在节点级、边级和图级任务中的应用，探讨了其在其他应用场景中的潜力。最后，我们确定了该领域剩余的挑战，如可扩展性和效率、泛化和鲁棒性、可解释性和可解释性、动态和复杂图以及数据质量和多样性，为图Transformer研究指明了未来方向。
图解 Transformer，一文吃透工作原理
图灵教育
04-15 314
另一种方法是保留前两个最有可能的单词（例如 ‘I’ 和 ‘a’），然后在下一步中，运行模型两次：一次假设第一个输出位置是单词 ‘I’ ，另一次假设第一个输出位置是单词 ‘a’，然后根据考虑位置 #1 和 #2 的错误程度，保留生成误差较小的版本。这种方法称为“束搜索”（beam search），在我们的示例中，束宽（beam_size）为 2（这意味着在任何时候，模型会在内存中保留两个部分假设，即未完成的翻译），而返回束（top_beams）也是 2（这意味着我们最终会返回两个翻译）。
Transformers是一种图神经网络
强化学习曾小健
12-04 913
我更赞同多头机制的优化视图 —— 拥有多个注意力头改进了学习并克服了错误的随机初始化。例如，这些论文表明Transformer 头可以在训练被“修剪”或删除，而不会对性能产生显著影响。多头邻居聚合机制在GNNs中也被证明是有效的，例如，GAT使用相同的多头注意力和MoNet使用多个高斯核聚合特征。虽然是为了稳定注意力机制而发明的，但是多头机制会成为压榨模型性能的标准操作吗？相反，具有简单聚合函数(如sum或max)的GNN不需要多个聚合头进行稳定的训练。
一文彻底搞懂 Transformer（图解+代码手撕）
2201_75499313的博客
04-21 6360
Transformer 通过其捕捉上下文和理解语言的能力，彻底改变了自然语言处理（NLP）领域。通过注意力机制、编码器-解码器架构和多头注意力，它们使得诸如机器翻译和情感分析等任务得以在前所未有的规模上实现。随着我们继续探索诸如 BERT 和 GPT 等模型，很明显，Transformer 处于语言理解和生成的前沿。它们对 NLP 的影响深远，而与 Transformer 一起的发现之旅将揭示出该领域更多令人瞩目的进展。研究论文。
transformer结构中的self-attention与 connector-attention
02-10
### Transformer 架构中的 Self-Attention 和 Connector-Attention #### 自注意力机制（Self-Attention） 自注意力机制允许模型在不同位置关注输入序列的不同部分，从而更好地捕捉上下文关系。具体来说，在Transformer架构中，每个token会生成三个向量：查询（Query）、键（Key）和值（Value）。这些向量用于计算加权平均值来表示当前token与其他tokens之间的关联强度。 权重矩阵QK^T/√d_k决定了各个位置间的重要性程度，并通过softmax函数规范化得到最终的概率分布。此概率乘以V即为该位置的新特征表达[^1]。 ```python import torch.nn.functional as F def scaled_dot_product_attention(q, k, v): d_k = q.size(-1) scores = torch.matmul(q, k.transpose(-2, -1)) / (d_k ** 0.5) attn_weights = F.softmax(scores, dim=-1) output = torch.matmul(attn_weights, v) return output ``` #### 连接器注意力建模（Connector-Attention） 连接器注意力通常指的是跨模块或层之间传递信息的一种方法。不同于标准的自注意力仅限于同一层次内部的操作，这种类型的注意力可以促进更广泛的信息交流。例如，在某些复杂的神经网络设计里，较低级别的视觉特征可能被用来指导高级别的语义理解过程；反之亦然——高层次的概念也可以影响低级感知决策。 然而，“connector-attention”并不是像self-attention那样普遍接受的标准术语。上述描述更多是一种概念性的解释而非严格定义的技术细节。对于特定应用场景下的实现方式可能会有所不同，取决于具体的任务需求和技术背景[^2]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值