self-attention

已于 2023-06-13 11:12:18 修改
阅读量154 收藏
点赞数
文章标签： python 机器学习
于 2023-06-06 13:42:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_47533197/article/details/131065443
版权
文章详细阐述了注意力机制在深度学习，尤其是自然语言处理中的应用，重点介绍了Transformer模型中的Multi-headSelf-attention结构。该结构通过并行处理多个注意力分布，增强了模型对输入序列中不同部分间关系的理解和建模能力，是当前预训练语言模型的关键组件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、attention 

 

 

 

 二、Multi-head Self-attention

 

 

 

 

 

 

 

 

 

 

层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
02-10 2万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 16万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
一文搞定自注意力机制（Self-Attention）
markconca的博客
10-25 12万+
1 Self-Attention的概念2 Self-Attention的原理3 Self-Attention的作用4 Self-Attention的问题。
Self -Attention、Multi-Head Attention、Cross-Attention
大鹏的专栏
11-24 6万+
Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
自注意力机制(Self-Attention)
Michale_L的博客
08-27 9万+
自注意力机制
全网最通俗易懂的 Self-Attention自注意力机制 讲解
大脸猫的博客
10-04 7万+
前言 因工作需要，不得不再次将Transformer从尘封的记忆中取出。 半年前学Transformer的时候只觉得模型好复杂，步骤好复杂，论文读完，想了好几天，感觉还是没有完全搞明白，仅仅是记住了一些专有名词，除了用于吹牛逼其余一无是处，因为内部的机理完全不明白，所以这些名词啊、公式啊转眼就忘。 Self-attention是Transformer最核心的思想，这两天重新阅读了论文，有了一些新的感想，便急忙将其记下，与朋友们共勉。 博主刚开始接触self-attention时，最不理解的地方就是Q
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1803
Attention 和 Self-Attention 总结
大模型中Self-Attention与Flash-Attention原理概述
FPGA/MATLAB学习教程/源码/项目合作开发
01-11 1028
它不是预先计算完整的注意力矩阵，而是在计算小块输出时，根据需要动态地计算注意力分数和权重。例如，在计算一个小块Qi与其他小块Ki和Vj的交互时，仅计算当前小块所需的注意力分数和权重，并且在计算完成后，不存储完整的注意力矩阵，而是直接更新小块输出。例如，重复利用已经计算过的中间结果，避免重复计算相同的部分。在传统的自注意力计算中，需要先计算所有的注意力分数，然后进行 Softmax 归一化，最后计算加权求和。：在传统自注意力计算中，需要先计算完整的注意力矩阵，然后进行 Softmax 归一化，再计算输出。
从代码直观理解Self-Attention和Cross-Attention的本质区别
Hoper-J的博客
09-12 2926
从模型接受的输入去发现Self-attention和Cross-attention的区别
基于 KV Cache 实现流式 Self-Attention 序列解码
Pika
07-10 1527
接下来，我们定义一个流式Self-Attention的类。该类继承自nn.Module在构造函数中，我们初始化了模型维度（model_dim）和注意力窗口大小（），并定义了投影层用于生成查询（Q）、键（K）、值（V）向量。我们还定义了用于存储KV缓存的成员变量k_cache和v_cache。
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
基于BiLSTM和Self-Attention的文本分类、表示学习网络
05-22
本项目的实现与原文有一点小差异，本实现在最后获得句子的表示(图中M矩阵)后直接过softmax分类器了，而不是原文所说的两层MLP，这里主要是考虑到要削弱末级分类器的复杂度，强迫模型学习到更有效的表示(图中M矩阵)，...
Stand-Alone_Self-Attention_in_Vision_Models:创建的资料库旨在审查德累斯顿大学计算机视觉研讨会的科学文章
04-17
标题中的“Stand-Alone Self-Attention in Vision Models”是指一种深度学习技术，它专注于自注意力机制在计算机视觉模型中的独立应用。自注意力机制是Transformer架构的核心组成部分，它允许模型在处理序列数据时...
如何利用 Python 获取京东商品 SKU 信息接口详细说明
J15779585792的博客
05-17 621
通过上述步骤和代码示例，你可以轻松地使用 Python 调用京东商品 SKU 信息接口，获取商品的详细信息。希望这个指南对你有所帮助！如果你对电商数据开发有更多兴趣，可以尝试探索更复杂的功能，如多线程爬取、数据可视化等。如遇任何疑问或有进一步的需求，请随时与我私信或者评论联系。
Python爬虫实战：研究进制流数据，实现逆向解密
ylfhpy的博客
05-14 629
许多网站和应用通过二进制流数据传输敏感信息，如视频、金融交易数据等。逆向工程进制流数据不仅有助于合法的数据获取与分析，还能帮助企业发现自身安全漏洞，提升数据保护能力。本研究主要针对特定类型的视频加密系统，对于采用更复杂加密机制（如硬件加密、动态密钥交换）的系统，可能需要进一步优化方法。以二进制形式传输的数据序列，通常包含文件、图像、音频或加密信息。如 ECB、CBC、CFB 等，定义加密算法如何处理数据块。拦截并修改通信双方数据的攻击方式，本研究用于合法数据捕获。
YOLOv7训练时4个类别只出2个类别
qq_48873240的博客
05-16 680
在使用YOLOv7进行训练和预测时，发现模型仅能预测出两个类别（LFM和SFM），而实际应有四个类别。经过检查，特征图大小和anchors设置均与YOLOv3一致，且YOLOv3表现正常。最终发现问题可能出在detect.py中的conf-thres参数设置过高，将其从0.5调整为0.1后，问题得到解决。此外，还需注意在NMS操作时不使用classes参数，并在train.py中根据实际类别数和图片大小调整hyp['cls']和hyp['obj']的缩放比例。这些调整有助于确保模型能够正确预测所有类别。
weibo_comment_pc_tool | 我于2025.5月用python开发的评论采集软件，根据帖子链接爬取评论的界面工具
最新发布
python布道者0516的博客
05-18 499
开始采集前，先把自己的cookie值填入cookie.txt文件。pc端cookie获取说明：然后把复制的cookie值填写到当前文件夹的cookie.txt文件中。软件首发众公号”老男孩的平凡之路“，欢迎技术交流、深度探讨！
UserWarning: Do not pass an input_shape/input_dim argument to a layer 问题及其解决
Humbunklung的专栏
05-17 286
xxx\Lib\site-packages\keras\src\layers\core\dense.py:87: UserWarning: Do not pass an input_shape/input_dim argument to a layer. When using Sequential models, prefer using an Input(shape) object as the first layer in the model instead. super().init(activity
Self-attention
05-11
Self-attention是一种用于自然语言处理和计算机视觉等领域的机器学习技术，它是一种基于自身信息来计算每个元素的权重的方法。在自然语言处理中，它常用于序列到序列的模型中，如机器翻译和文本摘要中。在计算机视觉...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值