Transformer之self-attention

最新推荐文章于 2025-08-28 14:18:05 发布
原创 最新推荐文章于 2025-08-28 14:18:05 发布 · 1.0k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

注意力是一个有助于提高神经机器翻译应用程序性能的概念。在这篇文章中，我们将看看Transformer，一个使用注意力来提高这些模型训练速度的模型。Transformer在特定任务中优于谷歌神经机器翻译模型。最大的好处来自于Transformer如何使自己适合并行化。

在这篇文章中，我们将尝试简化一些内容，并逐一介绍概念，希望能够让没有深入了解主题的人更容易理解。

A High-Level Look

让我们首先将模型视为一个单一的黑盒。在机器翻译应用程序中，它将以一种语言获取句子，并以另一种语言输出其翻译。
在这里插入图片描述
打开它，我们看到一个编码组件，一个解码组件，以及它们之间的连接。
在这里插入图片描述
编码组件是一堆编码器(6个编码器堆叠在一起，数字6没有什么神奇的，你可以尝试其他的排列方式)。解码组件是一堆相同数量的解码器。

在这里插入图片描述
编码器在结构上都是相同的(但它们不共享权重)。每一层都被分解成两个子层
在这里插入图片描述
编码器的输入首先通过自注意层，这一层帮助编码器在编码特定单词时查看输入句子中的其他单词。我们将在后面的文章中详细介绍自我关注。

自注意层的输出被馈送

最低0.47元/天 解锁文章
CV领域Transformer之Self-Attention浅薄理解
认真努力，做一只会飞的毛毛虫。
01-07 8229
CNN和Self-Attention的比较理解： 对于CNN而言，越深的网络关注的区域越大，因为其每一层网络都相当于不断的整合之前的信息。以3×3卷积为例，如下图所示：蓝色方框表示能看到原始图像多大的区域。黄色方框表示原始图像。 CNN每一层都必须做的非常好，这样结果才能好。 Transformer相比于CNN，只需要一层就可以达到很深的CNN才能考虑到的全局信息。一层顶CNN十几层。 CV不像NLP每一个句子有单词可以做成一个个小的token，因此需要把其特征做成N等份，将每一等份拉长为一个向.
Transformer模型详解03-Self-Attention（自注意力机制）
liaomin416100569的专栏
05-10 3930
下图是论文中 Transformer 的内部结构图，左侧为 Encoder block，右侧为 Decoder block。红色圈中的部分为 Multi-Head Attention，是由多个 Self-Attention组成的，可以看到 Encoder block 包含一个 Multi-Head Attention，而 Decoder block 包含两个 Multi-Head Attention (其中有一个用到 Masked)。
Transformer+self-attention超详解（亦个人心得）
weixin_40920183的博客
11-30 1240
来源：https://zhuanlan.zhihu.com/p/432814387作者：Ziyang Li 来自东北电力大学，机器人工程专业本文仅作学术分享，著作权归属作者，侵删最近刚开始...
Transformer在哪⾥做了权重共享？
最新发布
m0_57755179的博客
08-28 392
在机器翻译任务中，源语⾔和⽬标语⾔虽然不同，但它们可以共⽤⼀个⼤型的词表，尤其是考虑到⼀些词汇如数字、标点符号等在多种语⾔中是通⽤的。在Transformer中，位置编码通常是通过学习的固定向量来实现的，这些向量与输⼊的词嵌⼊相加以表⽰单词在序列中的位置信息。在编码器和解码器中，可以共享相同的位置编码矩阵，这样不同位置的输⼊在不同层之间可以有相同的表⽰。这意味着在⽣成词汇的概率分布时，使⽤的嵌⼊矩阵和线性层是相同的。在解码器的⾃注意⼒层中，可能会采⽤权重共享策略，即使⽤相同的查询、键和值的权重矩阵。
self-attention（transformer）
qq_54809548的博客
06-21 1312
在传统的CNN中，都是对感受野内部的事情进行关联后理解。感受野实际上关乎了模型对全局信息的理解。而本质上，感受野是一种特殊的注意力机制，也就是说感受野是一种受限的、具有特定参数的注意力。之前的内容如DANet，则更加接近广义的注意力机制。在这种机制的作用下，，通过注意力权重矩阵，对图像中全局的信息进行提取和理解。而《attention is all your need》这篇文章中，提出了一种全新的注意力机制，其意义在于：1. 从原理上解释了CNN和RNN的一般形式。
Transformer中的Self-Attention
weixin_30613433的博客
02-27 326
Transformer Transformer是Google的论文《Attention is All You Need》种提出的结构。读完论文之后对于Transformer的细节还是搞不清楚，查阅了很多解读文章，并结合代码终于算是弄得算比较清楚了。我现在尝试结合图片的方式对Transformer的工作流程进行梳理，图片基本上都来自于这个blog。我觉得这位大神讲得很好了，只是有些地方有点繁琐，而且...
超详解！Transformer + self-attention
idol24的博客
12-04 2357
‍‍点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！来源https://zhuanlan.zhihu.com/p/432814387作者Ziyang Li 东北电力大...
从self-attention到Transformer之self-attention
weixin_42254244的博客
05-09 636
从self-attention到Transformer之self-attention 本文内容是本人学习李宏毅老师课程的笔记。在这里附上李宏毅老师的主页：https://speech.ee.ntu.edu.tw/~hylee/index.html 1. self-attention 想要解决一个Seq2Seq的问题，根据经验我们完全可以把整个序列的每一个向量都丢到一个fully-connected neural network中然后根据不同任务输出对应的输出，就像下图一样： 但是很明显这种结构显然有很大的
【深度学习】transformer之self-attention
qq_50857066的博客
01-30 529
QK相乘求相似度，K里面哪一个对于Q来说是重要的，做一个Scale（作用：未来做softmax的时候避免出现极端情况），然后做softmax得到概率。新的向量表示了K和V(K==V), 然后这种表示还暗含了Q的信息(于Q而言，K里面最重要的信息)，挑出了K里面的关键点。Self-Attention 的关键点在于，不仅仅是K、V、Q来源于同一个X，这三者是同源的，通过X找到X里面的关键点。3、Scale+Softmax 进行缩放和softmax。1、Q、K、V的获取，是通过三个参数。
Transformer中Self-Attention的详细解读
牧羊女
03-08 1398
对Transformer中Self-attention的详细解读
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 18万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
通俗理解Transformer（自注意力, self-attention)
Hayreen的博客
09-01 4038
谷歌在2017年发表了一篇论文《Attention Is All You Need》，论文中提出了transformer模型，其核心就是self-attention的架构，这一突破性成果不仅洗遍了NLP的任务，也在CV中取得了非常好的效果，有大道至简的感觉。本文通过一个通俗易懂的例子[1]来介绍self-attention。 文章首发个人博客。 （注：本文例子完全来在参考文章，包括文章的gif动图，感谢作者的文章） 介绍 接下来将通过一下几个步骤来介绍： 预处理输入数据 初始化权重 计算key，
Bert基础解读(一)—— transformer之attention机制（self-attention）看不明白你打我
qq_31402749的博客
11-10 4506
1.self-attention 在之前处理序列问题的时候，用的是rnn，现在我们把rnn层换成self-attention层。 图1 任何用rnn的都可以被替换成self-attention层标题那么具体是怎么做的呢？我们首先以上图为例讲解。 a1,a2,a3,a4是一个sequence(序列)，我们首先为每一个input a1,a2,a3,a4 乘以一个矩阵，通过embedding...
对Transformer中self-attention的理解
一步一脚印
10-08 2552
首先我们来看一下Transformer架构：对于input输出，首先进行input embedding，然后再进行positional encoding，将两者相加作为Encoder的输入，也就是输如X何为self-attention？首先我们要明白什么是attention，对于传统的seq2seq任务，例如中-英文翻译，输入中文，得到英文，即source是中文句子（x1 x2 x3）,英文句子是target（y1 y2 y3）
Transformer-self attention
qq_39951635的博客
03-07 256
详见知乎～感恩～ 小白记录贴，侵删～感恩 Encoder 包括Multi-head self attention，Skip connection，LayerNorm，FF self-attention 之前看过一位老师说transformer在长文本上效果没有RNN好, 针对这一问题, 这篇文章做了相关阐述----Why Self-Attention? A Targeted Evaluation ofNeural Machine TranslationArchitectures, 中文版是为什
Transformer ：Self-Attention（自注意力机制）
Wei_sx的博客
07-15 964
特性说明全局上下文每个词都能与所有其他词交互位置无关不依赖相对/绝对位置，可与位置编码组合使用并行计算所有 token 同时处理，速度快灵活建模根据不同输入动态学习注意力分布Self-Attention 是 Transformer 模型的核心灵魂，既实现了强大的表达能力，又兼顾了效率。掌握了它，就为理解整个 Transformer 奠定了基础。
transformer 模型（self-attention自注意力）
ChihkAnchor的博客
01-08 7万+
transformer模型在《Attention is all you need》论文中提出 这篇论文主要亮点在于：1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。2）提出了多头注意力（Multi-headed attention）机制方法，在编码器和解码器中大量的使用了多头自注意力机制（Multi-headed s...
Transformer 模型以及自注意力机制 (Self-attention)
lucius-liu.cn
09-14 867
在 Transformer 之前，序列翻译任务（或者说与序列、时序相关的任务）通常采用 RNN、CNN 结构，其中 RNN 的缺点在于：（1）使用计算的先后次序，来表征序列中的先后信息，因此只能串行计算（2）长序列早期的信息可能会丢失；CNN 的缺点在于：捕捉相邻信息依赖卷积的窗口，因此对于长序列的信息可能需要很多层卷积。基于上述问题，Transformer 应运而生，提出新结构，用于实现（1）更好地并行化（2）更好地建模长序列。
Transformer 模型介绍（三）——自注意力机制 Self-Attention
金陵城中夜将沉的博客
02-15 3757
在本篇文章中，我们将逐步深入探讨 Transformer 模型的架构，以机器翻译任务为例，输入是一种语言的句子，输出是另一种语言的句子。我们将从整体架构入手，逐步拆解模型的各个组件
Transformer and Self-Attention Pytorch代码
05-15
class SelfAttention(nn.Module): def __init__(self, embed_size, heads): super(SelfAttention, self).__init__() self.embed_size = embed_size self.heads = heads self.head_dim = embed_size // heads ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值