自注意力机制笔记

最新推荐文章于 2024-08-14 21:12:13 发布
最新推荐文章于 2024-08-14 21:12:13 发布
阅读量496 收藏
点赞数
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39056596/article/details/126739767
版权
自注意力机制在深度学习中用于捕捉输入序列的内部关系，通过Q、K、V三个张量实现。Q表示查询，寻找与其他输入的关系；K为键，用于建立输入间的联系；V作为值，结合权重信息产生输出。这种机制允许模型自我学习输入数据的相关性，从而提升表示能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

说到自注意力机制就会想到QKV，那么为什么要定义三个Tensor呢？

 

自注意力机制就是通过权重矩阵来自发地找到数据之间的关系，因此肯定需要对每一个输入(input)定义一个tensor，然后通过乘法来得到与输入的关系。

显然，如果一个input只对应一个tensor是不够的，因为a和b的关系与b和a的关系并不是对偶的。

那定义两个呢？

 就是q用来与其他输入找关系，k用来别人和自己找关系。这样两两之间就可以得到了权重关系a了。

既然找到了权重关系，那如何使用？直接对输入进行加权操作显得比较直接，因此又定义了V，对输入加了一层可学习的参数，然后再与权重信息进行操作得到最后的输出。

 

【Transformer】自注意力机制Self-Attention ｜ 各种网络归一化Normalization
RickieLim的博客
08-08 4974
Transformer是一个sequence-to-sequence。也就是input和output都是sequence。而output的sequence，可以是定长的，也可以是和input一样长的，也可能是我们不知道有多长的需要机器自己判别的。例如：语音辨识，声音讯号–>文本，这个场景下的output就是机器自己决定的。机器翻译同理。文本 & 声音讯号互转 案例：中文文字---->台语/闽南语点击精准空降。
自注意力模型：理解与实践
DeepViewInsight的博客
09-20 722
自注意力模型（Self-Attention Model）是近年来在自然语言处理和深度学习领域取得巨大成功的关键技术之一。它在各种任务中表现出色，包括机器翻译、文本生成、问答系统等。本文将为你详细解释自注意力模型的原理和应用，并通过示例代码演示如何实现自注意力机制。
多头自注意力机制
quanlibin1984的博客
08-13 1686
在多头自注意力机制中，每个注意力头计算出一组注意力权重，并将这些权重与相应的值进行加权求和，从而生成每个位置的输出。计算注意力权重通常通过将查询（Query）与键（Key）进行点积，然后通过缩放因子（例如，分母中的根号 dk）和 softmax 函数将点积的结果转化为注意力权重。多头自注意力机制包括多个注意力头，每个头都有自己的权重矩阵，用于计算每个位置与其他所有位置的注意力分数。对于每个注意力头，计算该头的注意力权重。对于每个位置，将其注意力权重与相应位置的值进行加权求和，得到该位置的注意力输出。
自注意力机制
qq_29423387的博客
04-19 544
自注意力机制核心就是给预测的单词赋予不同的权重 Encoder-Decoder框架本身就是处理句式为<Source,Target>,我们的目标是给定输入句子Source,期待通过Encoder-Decoder 框架来生成目标句子Target,Source和Target分别由各自的单词构成 Encoder顾名思义就是对输入句子Source进行编码 对于解码器Decoder来说，其任务是根据句子Source的中间语义表示C和之前已经生成的历史信息来生成i时刻要生成的单词 区别无非是Encoder部分
自注意力机制（转载）
qq_39778404的博客
06-07 1200
来源：知乎—super灬睿 地址： https://zhuanlan.zhihu.com/p/364819787、https://zhuanlan.zhihu.com/p/365550383 今早看见了一篇讲解自注意力机制的，自注意力在Transformer中也有应用，这篇文章讲的很精炼，分享给大家 三种注意力机制 Soft/Global Attention(软注意机制)：对每个输入项的分配的权重为0-1之间，也就是某些部分关注的多一点，某些部分关注的少一点，因为对大部分信息都有考虑，但考虑程度不一样，所
注意力机制
qq_38700625的博客
03-01 786
参考b站视频 注意力机制是用在循环神经网络当中，具有时序关系。 原文来自于：《attention is all you need》 自注意力机制就是在大量的信息当中筛选出需要的信息，也可是理解成为特征提取。 依附于神经网络，通过给每部分进行权值分配来筛选信息。空间维度和通道维度 在通道维度上面的使用： X为输入数据，U为经过卷积神经网络后输出数据，其中C为通道数 其中1到2的转化就是实现了道通维度上面的自注意力机制，实质上就是对每一个通道赋予一定权重，来着重进行信息提取。 对于权重的赋值如上图也可知，是需
self-attention自注意力机制笔记
qq_39321513的博客
05-19 3411
目录 介绍 Self-attention 通俗理解 矩阵运算的角度 Multi-head Self-attention 下面以2个头为例 融合位置信息 self-attention 的应用 1. NLP（Transformer 和 Bert···） 2.语音 3.图像 4.图、网络（graph） Self-Attention v.s. CNN self-attention v.s. RNN Self-Attention 的变形 介绍 我根据台大李宏毅21年机器学...
【第七周】李宏毅机器学习笔记05：自注意力机制
qq_30043925的博客
08-11 969
本周学习了自注意力机制，了解了Self-attention的组成结构和有关参数α的计算方法，并且运用了线性代数的方法手动推导了求解输出矩阵的矩阵乘法表示方式，将复杂的问题简单化，更加深入理解了Self-attention的具体机制以及运用方法，最后也将Self-attention与CNN和RNN网络做对比，学习不同方法的优缺点。在师兄的建议下了解了空洞卷积和转置卷积的概念，对部分内容进行了笔算，加深了我对卷积运算的印象。本周进行了理论内容的学习，了解了自注意力机制。
视觉中Attention自注意力机制笔记（一）
FeNGQiHuALOVE的博客
03-26 5920
1.软注意力机制
视觉中Attention自注意力机制笔记（二）
FeNGQiHuALOVE的博客
04-01 1208
Non-local
深度学习笔记之Transformer(三)自注意力机制
静静的学习就好
06-16 2848
上一节对注意力分数(Attention Score)这个概念进行了总结。本节将基于缩放点积注意力机制(Scaled Dot-Product Attention)这种注意力分数的计算模式，介绍自注意力机制。
AI学习记录 - 自注意力机制之权重矩阵和查询向量V矩阵的计算方式的补充
最新发布
weixin_43954090的博客
08-14 320
如果我们熟悉自注意力的话，就会发现Q和K矩阵结合的时候，会有一个长度为句子长度的权重矩阵，假如有句子abc，求abc的注意力权重矩阵的话，那就是一个3*3的矩阵如下矩阵。我们假设了句子长度为3，那么V矩阵肯定也是宽为3，因为有三个词汇痲，长度为n的矩阵，假设n为5，每一行都是一个词向量。如下图直接使用矩阵乘法将这两个矩阵相称即可，得到一个一样的矩阵，这就是新的词向量。为什么使用矩阵乘法相乘就可以了呢，意义在哪里？意义：原来的abc词向量就是对应上面每一行，自注意之后变成新的词向量为a1b2b3。
Self-Attention 学习笔记
qq_42811373的博客
12-29 3239
Attention机制的本质 attention机制的本质是从人类视觉注意力机制中获得灵感。 大致是我们视觉在感知东西的时候，一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分。而且当我们发现一个场景经常在某部分出现自己想观察的东西时，我们就会进行学习在将来再出现类似场景时把注意力放到该部分上。从关注全部到关注重点 Attention机智的优势 参数少 模型复杂度跟 CNN、RNN 相比，复杂度更小，参数也更少。所以对算力的要求也就更小。 速度快 Attention 解
【Transformer 相关理论深入理解】注意力机制、自注意力机制、多头注意力机制、位置编码
热门推荐
qq_38253797的博客
10-26 2万+
transformer原理
自注意力机制(Self-attention)
chenzhiwen1998的博客
04-17 9119
自注意力机制(Self-attention) 背景 最近，学了好多东西，今天看了一下李飞飞老师讲解的自注意力机制，因此在这记录一下，以供日后复习，同时自己学习消化知识也好。 综述 一般来说，模型的输入输出有三种： N个输入，经过模型计算后，输出N个结果，也就是对输入向量进行计算，从而得到每个向量对应的输出值。 N个输入，送入模型进行计算，最终得到一个结果。这就是平时常见的比如，文本分类、情感分析等。 任意个输入，输出任意个输出。这种在生活中也较为常见，比如机器翻译，对于一句
入门 | 什么是自注意力机制？
机器学习算法与Python学习
08-24 1万+
来源 ： 机器之心， 禁止二次转载注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据...
Transformer、多头注意力机制学习笔记：Attention is All You Need.
zcsdn1996的博客
10-22 1万+
文章目录 相关参考连接： https://blog.youkuaiyun.com/hpulfc/article/details/80448570 https://blog.youkuaiyun.com/weixin_42398658/article/details/90804173 https://blog.youkuaiyun.com/jesseyule/article/details/101633159 论文讲解： https://www.jianshu.com/p/25fc600de9fb https:..
Sentence Embedding：自注意力机制
qq_39778575的博客
10-07 1421
论文：ICLR2017-A structured self-attentive sentence embedding 梗概： 本文提出了一种基于自注意力机制的sentence embedding，自注意力机制是区别于注意力机制的，他可以减少对外部信息的依赖，只依靠自己的额输入来生成对应的注意力权重，他的权重主要是基于内部的相关性。 我们使用一个2-D的矩阵来表征一个句子，矩阵中的每一行代表句子的一个部分，从而可以更好的反映句子的不同特征，可以更好的进行之后的训练。 ...
注意力与自注意力概念以及自注意机制的实现步骤、代码
mjssdhy的博客
03-29 4180
1、概念 注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务。 当过载信息映入眼帘时，我们的大脑会把注意力放在主要的信息上，这就是大脑的注意力机制。 同样，当我们读一句话时，大脑也会首先记住重要的词汇，这样就可以把注意力机制应用到自然语言处理任务中，于是人们就通过借助人脑处理信息过载的方式，提出了Attention机制。 自注意机制：主要是根据两两之间的关系来引入权重，在通道、空间
临床笔记的注意力机制摘要方法研究
资源摘要信息:"基于注意力机制的临床笔记摘要方法" 在当前的医疗领域，临床笔记是记录患者病情和治疗过程的重要文档。这些文档通常包含大量的非结构化文本信息，对于医生和研究人员来说，从中提取关键信息是一项...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值