注意力机制（Attention mechanism）

原创 已于 2022-11-03 10:23:04 修改 · 1.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

于 2022-07-08 17:11:40 首次发布
自注意力机制是深度学习中的关键概念，用于比较和加权输入信息。通过查询（Q）、键（K）和值（V）的相互作用，模型能够识别相关特征。例如，一个渣男在选择备胎时，会根据自己的择偶标准（Q）对比备胎的条件（K），计算相似度，并据此分配注意力（V）。点乘运算衡量向量的相似度，通过归一化权重矩阵，确定对每个备胎的关注程度。这一机制在自然语言处理等领域广泛应用，增强了模型的表达能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

自注意力机制（self-attention）

首先，其核心思想为：

Attention(Q,K,V)=softmax(\frac{QK^{T}}{\sqrt{d_{k}}})V

其中，Q为query， Q=W^{Q}X ，即查询、要查询的信息

K为key， K=W^{K}X，即索引、被查询的向量

V为value， V=W^{V}X，即值、查询到的内容

dk代表k的维度，除以k的维度的平方根，使训练时的梯度保持稳定

 Q，K，V都是输入x经过经过线性变换得到的，和它们分别相乘的三个矩阵W是通过学习得到的矩阵，使用这样的线性变换可以提高的模型的拟合能力

举一个例子

有一个渣男，他有 n 个备胎，他想要从自己的备胎里寻找最符合自己期望的，好分配注意力和管理时间

用 Q 表示择偶标准，K表示自身条件，V表示被

最低0.47元/天 解锁文章

200万优质内容无限畅学
深入理解注意力机制（Attention Mechanism）
qq_56683019的博客
11-26 2189
注意力机制的核心思想是赋予输入数据不同的权重，强调对结果最有贡献的部分，而弱化次要部分。这种机制特别适合于处理序列数据（如文本和时间序列），以及高维数据（如图像）。注意力机制的出现不仅解决了传统方法在处理复杂依赖关系时的瓶颈，还在多个领域引发了深远的影响。从最初的Bahdanau注意力到当前的Transformer架构，它的演进展现了技术的巨大潜力。未来，随着计算硬件的进步和算法的优化，注意力机制将继续在更多场景中发挥重要作用。希望本文帮助你更好地理解注意力机制的本质及其实现。
清华&南开最新「视觉注意力机制Attention」综述论文
11-22
注意力机制是深度学习方法的一个重要主题。清华大学计算机图形学团队和南开大学程明明教授团队、卡迪夫大学Ralph R. Martin教授合作，在ArXiv上发布关于计算机视觉中的注意力机制的综述文章[1]。该综述系统地介绍了...
注意力机制
m0_46902739的博客
04-14 3631
基本定义：由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案一般还是用软性注意力机制来处理神经网络的问题。soft attention：在encoder中每一个输出都会计算一个概率hard attention：encoder中只寻找需要的那个计算概率。
注意力机制（Attention）为什么重要？
最新发布
2501_91798322的博客
06-13 749
从解决信息过载到实现跨模态融合，注意力机制不仅是一个技术模块，更是AI模型实现「选择性智能」的核心架构。理解本质：注意力的核心不是复杂的数学公式，而是「聚焦关键信息」的思维方式，就像医生看CT片时会本能关注可疑区域场景适配：根据任务特点选择注意力变种（自注意力/交叉注意力/多头注意力），比如短文本用Bahdanau，长文本用Transformer可视化分析：通过注意力热力图解读模型行为，让黑箱模型可解释，这是工业落地和学术研究的关键能力。
注意力机制（Attention Mechanism）
04-09
### 注意力机制（Attention Mechanism） #### 引言 在当今信息时代，人工智能技术迅速发展，成为推动社会进步的关键力量之一。注意力机制作为人工智能领域的热门技术之一，模仿了人类大脑处理信息时的选择性关注...
注意力机制（Attention Mechanism）.md
04-22
注意力机制（Attention Mechanism）源于对人类视觉的研究，是人类信息处理过程中的一种重要机制。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。这种机制可以...
注意力机制（Attention Mechanism）在深度学习中的应用解析
11-15
内容概要：本文详细介绍了注意力机制（Attention Mechanism）的概念及其在深度学习中的应用。首先解释了为何需要注意力机制以及其核心思想，接着描述了不同类型的注意力机制，包括加性注意力、乘性注意力和自注意力...
自注意力机制 attention
01-19
### 自注意力机制的概念 自注意力机制（Self-attention mechanism）允许模型在同一序列的不同位置之间建立联系，从而捕捉到更丰富的上下文信息。通过这种方式，每个位置都可以关注整个序列中的其他部分，而不仅仅是相邻的位置[^4]。 在深度学习中，自注意力机制通常用于处理变长的输入序列。与传统的循环神经网络不同的是，自注意力机制能够一次性考虑所有时间步的信息，而不是逐个时间步地顺序处理数据。这种特性使得自注意力机制特别适合于自然语言处理任务和其他涉及长期依赖的任务[^1]。 ### 工作原理 在一个典型的实现中，对于给定的一组词元，这些词元会同时作为查询（Query）、键（Key）以及值（Value）。具体而言： - **查询 (Q)**：表示当前要计算注意力得分的目标项； - **键 (K)**：用来与其他查询匹配的对象； - **值 (V)**：当某个特定查询成功找到对应的键时所返回的内容； 为了计算注意力分数，首先会对每一对查询和键执行点乘操作，并除以根号下的维度大小来缩放结果。接着使用softmax函数将得到的结果转换成概率分布形式，最后再加权求和获得最终输出向量。 ```python import torch import math def scaled_dot_product_attention(query, key, value): d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k) # 计算注意力得分 p_attn = torch.softmax(scores, dim=-1) # 应用Softmax获取权重 output = torch.matmul(p_attn, value) # 加权求和得到输出 return output, p_attn ``` ### 应用场景 #### 多模态语音情感识别 研究显示，在多模态语音情感识别方面引入自注意力机制可以显著提高分类准确性。通过对音频特征、文本转录等多个通道的数据施加自注意力层，系统能更好地理解说话者的语气变化及其背后的情感状态[^2]。 #### 深度语义角色标注 利用自注意力机制还可以改进深层结构化的预测任务，比如深度语义角色标注(SRL)，这有助于解析句子内部复杂的语法关系并提取出事件参与者之间的关联模式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

PL_涵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值