self-attention自注意力机制的结构详解（1）

已于 2022-06-20 09:37:25 修改
阅读量1.1w 收藏 81
点赞数 18
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 深度学习 机器学习 人工智能
于 2022-06-02 23:59:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40379132/article/details/125102946

一、基本知识

1、模型的输入：

如果把输入看成一个向量，输出是数值或者类别。但是若输入是一系列的向量（序列），同时长度会改变，例如输入是一句英文，每个单词的长短不一，每个词汇对应一个向量，所以模型的输入是多个长短不一的向量集合，并且每个向量的大小都不一样。

另外有语音信号（其中一段语音为一个向量）、图论（每个节点是一个向量）也能描述为一串向量。

将单词表示为向量的方法，（1）可以利用one-hot encoding，向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，但是这种方式下每一个词之间没有关系，里面没有任何有意义的信息。（2）另一个方法是Word Embedding：给单词一个向量，这个向量有语义的信息，一个句子就是一排长度不一的向量。很显然这种方式下类别相同的词聚集在一起，因此它能区分出类别，将Word Embedding画出来：

自注意力机制要解决的问题是：当神经网络的输入是多个大小不一

了解本专栏 订阅专栏 解锁全文 超级会员免费看
自注意力（Self-Attention）
dx1313113的博客
01-22 1万+
循环神经网络由于信息传递的容量以及梯度消失问题，实际上也只能建立短距离依赖关系。为了建立长距离的依赖关系，可以增加网络的层数或者使用全连接网络。但是全连接网络无法处理变长的输入序列，另外，不同的输入长度，其连接权重的大小也是不同的。这时，提出了自注意力模型，可以“动态”地生成不同连接的权重。自注意力模型的结构：输入n个，输出也是n个，但是会考虑整个sequence（有context）自注意力机制实际上是注意力机制。
Transformer模型详解03-Self-Attention（自注意力机制）
liaomin416100569的专栏
05-10 3595
下图是论文中 Transformer 的内部结构图，左侧为 Encoder block，右侧为 Decoder block。红色圈中的部分为 Multi-Head Attention，是由多个 Self-Attention组成的，可以看到 Encoder block 包含一个 Multi-Head Attention，而 Decoder block 包含两个 Multi-Head Attention (其中有一个用到 Masked)。
self attention(上)_ 自注意力结构解读_by Li 弘毅
chumingqian的博客
04-01 1490
seqseq for syntactic Parsing: 用于文法解析， “ Grammar as Foreign Language ” 14 年； for Muli label calssifiction: 即 一个对象 它同时属于多个标签； for Object Detectiono; Encode - self attention 注意， 这里每一个Block 是模型中多个 Layer 所做的事情； A, B残差 相加 得到C 这里的输出的第二行中每一
自注意力机制
最新发布
AllenAndDog的博客
06-26 1883
全连接网络的输入是一个向量，但是，就不能再使用全连接网络了。这种情况。基于卷积或循环网络的序列编码都是一种局部的编码方式，。虽然循环网络理论上可以建立长距离依赖关系，但是由于，实际上也只能建立短距离依赖关系。全连接网络是一种非常直接的建模远距离依赖的模型，但是如上边所说无法处理变长的输入序列。不同的输入长度（），其连接权重的大小也是不同的。这种情况我们就可以利用注意力机制来“动态”地生成不同连接地权重，即。：输出序列的长度为1,此时相当于一个分类人物，比如像对正面/负面评论的分析。
自注意力机制（Self-Attention）
lbr15660656263的博客
06-28 5463
Transformer模型中最关键部分就是自注意力（Self-Attention）机制，正如 Transformer 的论文的标题是“Attention Is All You Need”！以文本问题为例来讲解这个机制。在处理文本问题时，自注意力机制会告诉模型：在处理句子中的每个单词时，特别关注某些重要的单词，并或多或少地忽略其它单词。简单来说，就是给句子中不同单词分配不同的权重。
Transformer中的Self-Attention 结构
xy_optics的博客
04-29 1215
​ 计算得到的矩阵进行操作，使其每一行的向量值分布在[ 0 , 1 ] 范围内，并且向量中元素的总和为1。的任意实向量，softmax函数可以将其值在[ 0 , 1 ] 范围内，并且向量中元素的总和为1。可以验证，上面矩阵中的每一行之和为1。图像化表示公式（1），（2）和（3）如下图所示。根据公式（1），（2）和（3)，我们可以得到。公式（4）中的softmax函数定义如下。公式（4）中的softmax就是对。之后，根据公式（4），我们首先计算。的结果每一行进行softmax，即。
自注意力机制(Self-Attention)
Michale_L的博客
08-27 9万+
自注意力机制
NLP学习—21.自注意力机制（Self-Attention）与Transformer详解
柳杰的博客
09-02 1万+
文章目录引言一、Structure of Transformers二、Encoder Structure三、Self-attention and multi-head self-attention1.Self-attention2.multi-head self-attention四、Residuals , Add and Layer-Normalization五、Decoder structure of Transformer六、Mask self-attention七、 Encoder-decoder
深度学习：自注意力机制(Self-Attention)
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-11 2万+
自注意力机制（Self-Attention），有时也称为内部注意力机制，是一种在深度学习模型中应用的机制，尤其在处理序列数据时显得非常有效。它允许输入序列的每个元素都与序列中的其他元素进行比较，以计算序列的表示。这种机制使模型能够聚焦于输入序列中不同位置的关系，从而捕捉序列内的复杂依赖关系。
self-attention架构及计算细节
Frank-Li的博客
06-14 965
1、结构 self-attention其实就是一种结构，并且具备自己独特的参数计算方法，下面是self-attention的结构图，及一些计算参数的办法。
self-attention结构
weixin_45599022的博客
10-03 521
decoder端输入训练时是对应的句子和encoder的output， 那生成时不知道翻译的结果输入的是什么呢 关于位置信息：提前在训练的词向量里加了一个表示位置的向量进入模型进行训练，解决词序问题。 词向量与位置向量是加法不是拼接。每个位置的向量是人为定的。 ...
自注意力机制详解
D_YueChu_F的博客
04-03 2329
注意力机制详细解释
self-attention
weixin_39326879的博客
11-01 1377
self-attention简介 什么是self-attention? self-attention顾名思义，就是自注意力机制，简单理解，就是将输入乘以一个矩阵（attention mask),获得输出的过程。那么这个attention mask怎么获得呢？attention mask也是根据输入本身得到的，1.可以通过对输入进行神经网络变换得到；2。大部分通过点积的方式（矩阵相乘，即经典的q,k,v); self-attention的目的是什么？ 其目的在于：1.融合全局信息对当前的像素信息进行编码；2.
Self attention(自注意力机制)
weixin_54892004的博客
12-20 6862
论文《Attention is all you need》 一 输入：N维向量 输出：N个lable：class/sclar (词性判断) 一个label: class/sclar（一个句子判断褒贬，听声识人） 未定数量的lable,数量由机器学习（seq2seq,翻译，语音辨识） 二 输出为N个label N 是个不确定的值，具体例子为输入一句话，每句话的长短不一样。 要考虑整个句子间的联系，window就要尽可能大，过大参数会过多，并且要...
一文搞定自注意力机制（Self-Attention）
热门推荐
markconca的博客
10-25 13万+
1 Self-Attention的概念2 Self-Attention的原理3 Self-Attention的作用4 Self-Attention的问题。
Matlab下KOA-CNN-GRU-selfAttention多特征预测模型详解
该模型结合了卷积神经网络（CNN）、门控循环单元（GRU）和自注意力机制（selfAttention），形成了一个对复杂时空特征和多维度属性的大规模数据集进行处理的强健框架。这一模型适用于金融、工业、医疗等领域，可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一只小小的土拨鼠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值