RNN中的注意力机制代码实现

原创 于 2025-07-05 23:05:14 发布 · 783 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rnn #人工智能 #深度学习 #python #gru

文章目录

一、整体功能

本文介绍了一个基于 RNN 的注意力机制实现，具体应用于机器翻译任务中。该机制通过动态聚焦源语言（如“欢迎、来、北京”）的不同词，辅助解码器（如预测“to”）生成更准确的目标语言词汇。

RNN中的注意力机制详解：网页链接

核心流程：

  1. 编码器（Encoder）：将源语言句子转换为一系列隐状态（h1, h2, ..., hn）。
  2. 解码器（Decoder）：在生成目标语言词汇时，利用注意力机制关注源语言中的关键信息。
  3. 注意力机制：计算解码器当前状态与编码器各隐状态的相关性（注意力分数），并加权得到上下文向量，最终融合解码器状态和上下文向量进行输出。

示意图解析：

注意力机制示意图

  • 左侧（蓝色框）：编码器处理源语言（“欢迎、来、北京”）的过程。
  • 中间（绿色框）：注意力机制的具体计算步骤。
  • 右侧（粉色框）：解码器根据注意力结果生成目标语言（“Welcome to Beijing”）的过程。

二、类初始化

def __init__(self, query_dim, key_dim, value_seq_len, value_dim, output_dim):
    super().__init__()
    # 注意力权重计算层 - 对应图中 “神经网络线性变换（Q拼K后）” 等操作，计算注意力分数
    self.attention_weights = nn.Linear(query_dim + key_dim, value_seq_len)
    # 输出映射层 - 对应图中 后续“神经网络线性变换（Q拼接C后）”，将融合后的特征映射到指定输出维度
    self.output_projection = nn.Linear(query_dim + value_dim, output_dim)
  • self.attention_weights：对应图里对拼接后的 Q（解码器上一步输出语义，如 Welcome 的词向量 ）和 K（编码器隐层输出，如 h1 等 ）进行线性变换的操作，用于计算注意力分数，决定对源语言各词的关注程度。
  • self.output_projection：对应图中注意力输出与 Q 再次拼接后，进行线性变换以适配解码器输入的环节，整合信息并转换维度。

三、前向传播流程（forward 函数）

3.1 扩展 query 以便拼接（对应图中 Q 与 K 交互准备）

# 1. 扩展query以便与key拼接
batch_size = query.size(0)
query_expanded = query.expand(-1, value.size(1), -1)  # [batch, seq_len, query_dim]
  • 作用：query 初始是解码器当前时间步状态（如形状 [1, 1, 3] ），要和长度为 source_seq_len（源语言词数量，如 3 ）的 key 拼接，需扩展 query 维度，让其在序列长度维度（第 2 维 ）与 key 一致，为后续拼接 Q 和 K 做准备，对应图中 Q 参与和 K 交互的前置处理。

3.2 拼接 Q 和 K 并计算注意力分数（对应图中 Q 拼 K 与线性变换）

# 2. 拼接Q和K并计算注意力分数
qk_concat = torch.cat([query_expanded, key], dim=2)  # [batch, seq_len, query_dim+key_dim]
attention_scores = self.attention_weights(qk_concat)  # [batch, seq_len, seq_len]
  • 操作解析：
    • torch.cat([query_expanded, key], dim=2)：把扩展后的 Q（解码器状态，代表目标语言已生成部分语义 ）和 K（编码器隐层输出，代表源语言各词语义 ）在特征维度（第 3 维 ）拼接，对应图里 Q 与 K 的拼接操作，融合二者初始特征。
    • self.attention_weights(qk_concat)：用线性层对拼接后的特征进行变换，输出注意力分数。此时输出形状 [batch, seq_len, seq_len] ，可理解为计算出 Q 与 K 各位置间的关联分数，对应图中 “神经网络线性变换” 环节，初步得到注意力相关数值。

3.3 提取对角元素并获注意力分布（对应图中 Softmax 层等）

# 3. 提取对角元素作为位置注意力分数
attention_scores = attention_scores.diagonal(dim1=1, dim2=2).unsqueeze(1)  # [batch, 1, seq_len]
# 4. 应用softmax获得注意力分布
attention_dist = F.softmax(attention_scores, dim=-1)  # [batch, 1, seq_len]
  • 操作解析：
    • attention_scores.diagonal(dim1=1, dim2=2).unsqueeze(1)：从 attention_scores 中提取对角元素，是因为我们关注 Q 与 K 对应位置（如解码器当前状态与源语言各词位置匹配 ）的关联，提取后形状变为 [batch, 1, seq_len] ，对应聚焦源语言每个词与当前解码器状态的关联。
    • F.softmax(attention_scores, dim=-1)：对提取后的分数做 Softmax 归一化，得到注意力分布 attention_dist ，值在 0 - 1 之间且和为 1 ，对应图中 “Softmax 层” ，表示解码器预测当前词时，对源语言各词的关注权重，比如运行结果里对 “欢迎、来、北京” 的权重分布 [0.3784, 0.0705, 0.5511] 。

3.4 计算上下文向量（对应图中注意力输出与 V 交互）

# 5. 计算上下文向量（注意力加权的值）
context_vector = torch.bmm(attention_dist, value)  # [batch, 1, value_dim]
  • 作用：value 是编码器最后一层输出（如形状 [1, 3, 3] ，代表 “欢迎、来、北京” 各自的编码语义 ），用注意力分布 attention_dist 对 value 加权求和（bmm 是批量矩阵乘法 ），得到 context_vector ，融合源语言各词语义且突出注意力权重高的词，对应图中注意力输出与 V（编码器隐层输出 ）的交互，提取对生成当前目标词重要的源语言语义。

3.5 合并与投影（对应图中 Q 拼接 C 及后续线性变换）

# 6. 合并上下文向量和查询向量并投影到输出维度
combined = torch.cat([query, context_vector], dim=2)  # [batch, 1, query_dim+value_dim]
output = self.output_projection(combined)  # [batch, 1, output_dim]
  • 操作解析：
    • torch.cat([query, context_vector], dim=2)：把解码器原始状态 query（代表目标语言已生成部分的语义 ）和上下文向量 context_vector（融合源语言关键语义 ）在特征维度拼接，对应图中 Q 与注意力输出（如 C ）的拼接，整合目标语言已有信息和源语言关键信息。
    • self.output_projection(combined)：用线性层对拼接后的特征变换，输出 output ，将维度转换为 output_dim（如示例中为 3 ），对应图中最后 “神经网络线性变换” ，得到可输入解码器 GRU 层的向量，辅助预测下一个目标词（如 to ）。

四、主函数

if __name__ == '__main__':
    # 设置随机种子以便结果可复现
    torch.manual_seed(44)

    # 模拟"欢迎来北京"翻译为"Welcome to Beijing"的场景
    source_seq_len = 3  # 源语言序列长度
    hidden_dim = 3      # 隐藏层维度

    # 随机生成编码器输出（值向量V）
    encoder_outputs = torch.randn(1, source_seq_len, hidden_dim)

    # 随机生成解码器当前状态（查询向量Q）
    decoder_state = torch.randn(1, 1, hidden_dim)

    # 随机生成编码器键向量（K）
    encoder_keys = torch.randn(1, source_seq_len, hidden_dim)

    # 创建注意力模型
    attention = TranslationAttention(
        query_dim=hidden_dim,
        key_dim=hidden_dim,
        value_seq_len=source_seq_len,
        value_dim=hidden_dim,
        output_dim=hidden_dim
    )

    # 计算注意力
    output, attn_weights = attention(decoder_state, encoder_keys, encoder_outputs)

    # 打印结果
    print("注意力权重分布（表示解码器在预测'to'时对源语言各词的关注程度）:")
    for i, weight in enumerate(attn_weights[0, 0]):
        print(f"词 {i+1}: {weight.item():.4f}")
    
    print("\n上下文向量形状:", output.shape)
    print("注意力分布形状:", attn_weights.shape)
  • 这里通过随机生成数据模拟编码器、解码器的中间状态（如 encoder_outputs 对应图中编码器最后一层输出 V ，decoder_state 对应 Q 等 ），调用模型后得到的 attn_weights 就是图里注意力机制计算出的对源语言各词的关注权重，context 是整合后的上下文向量，完整模拟了图中从编码器输出、解码器状态输入，到注意力计算、结果输出的流程。

五、完整代码

import torch
import torch.nn as nn
import torch.nn.functional as F


class TranslationAttention(nn.Module):
    """
    翻译任务中的注意力机制，用于捕捉源语言和目标语言之间的语义关联
    """

    def __init__(self, query_dim, key_dim, value_seq_len, value_dim, output_dim):
        """
        初始化注意力机制模型。

        参数:
            query_dim (int): 查询向量（Q）的维度，通常为解码器隐藏状态的维度。
            key_dim (int): 键向量（K）的维度，通常为编码器隐藏状态的维度。
            value_seq_len (int): 值序列（V）的长度，即源语言句子的长度。
            value_dim (int): 值向量（V）的维度，通常与键向量维度相同。
            output_dim (int): 输出向量的维度，通常与解码器输入维度相同。
        """
        super().__init__()
        self.attention_weights = nn.Linear(query_dim + key_dim, value_seq_len)
        self.output_projection = nn.Linear(query_dim + value_dim, output_dim)

    def forward(self, query, key, value):
        """
        前向传播过程。

        参数:
            query: 当前解码器状态 [batch_size, 1, query_dim]
            key: 编码器键向量 [batch_size, seq_len, key_dim]
            value: 编码器值向量 [batch_size, seq_len, value_dim]

        返回:
            output: 最终输出向量 [batch_size, 1, output_dim]
            attention_dist: 注意力分布 [batch_size, 1, seq_len]
        """
        # 1. 扩展query以便与key拼接
        batch_size = query.size(0)
        query_expanded = query.expand(-1, value.size(1), -1)  # [batch, seq_len, query_dim]

        # 2. 拼接Q和K并计算注意力分数
        qk_concat = torch.cat([query_expanded, key], dim=2)  # [batch, seq_len, query_dim+key_dim]
        attention_scores = self.attention_weights(qk_concat)  # [batch, seq_len, seq_len]

        # 3. 提取对角元素作为位置注意力分数
        attention_scores = attention_scores.diagonal(dim1=1, dim2=2).unsqueeze(1)  # [batch, 1, seq_len]

        # 4. 应用softmax获得注意力分布
        attention_dist = F.softmax(attention_scores, dim=-1)  # [batch, 1, seq_len]

        # 5. 计算上下文向量（注意力加权的值）
        context_vector = torch.bmm(attention_dist, value)  # [batch, 1, value_dim]

        # 6. 合并上下文向量和查询向量并投影到输出维度
        combined = torch.cat([query, context_vector], dim=2)  # [batch, 1, query_dim+value_dim]
        output = self.output_projection(combined)  # [batch, 1, output_dim]

        return output, attention_dist


if __name__ == '__main__':
    # 设置随机种子以便结果可复现
    torch.manual_seed(44)

    # 模拟"欢迎来北京"翻译为"Welcome to Beijing"的场景
    source_seq_len = 3  # 源语言序列长度
    hidden_dim = 3      # 隐藏层维度

    # 随机生成编码器输出（值向量V）
    encoder_outputs = torch.randn(1, source_seq_len, hidden_dim)

    # 随机生成解码器当前状态（查询向量Q）
    decoder_state = torch.randn(1, 1, hidden_dim)

    # 随机生成编码器键向量（K）
    encoder_keys = torch.randn(1, source_seq_len, hidden_dim)

    # 创建注意力模型
    attention = TranslationAttention(
        query_dim=hidden_dim,
        key_dim=hidden_dim,
        value_seq_len=source_seq_len,
        value_dim=hidden_dim,
        output_dim=hidden_dim
    )

    # 计算注意力
    output, attn_weights = attention(decoder_state, encoder_keys, encoder_outputs)

    # 打印结果
    print("注意力权重分布（表示解码器在预测'to'时对源语言各词的关注程度）:")
    for i, weight in enumerate(attn_weights[0, 0]):
        print(f"词 {i+1}: {weight.item():.4f}")
    
    print("\n上下文向量形状:", output.shape)
    print("注意力分布形状:", attn_weights.shape)

综上，代码通过类结构定义和前向传播逻辑，完整实现了图中注意力机制的核心流程，从 Q、K、V 交互，到注意力分数计算、分布归一化，再到上下文向量生成与输出适配，与图中展示的注意力过程一一对应，为翻译任务里解码器利用源语言语义提供了机制支持。

注意力机制(Attention)在RNN中的应用及其原理
AI天才研究院
04-03 1016
近年来，注意力机制(Attention)在自然语言处理、语音识别、图像处理等领域取得了广泛的应用和成功。作为深度学习的一种重要机制,注意力机制通过自适应地为输入序列的不同部分赋予不同的权重,使模型能够集中关注于对当前输出最相关的部分,从而提高了模型的性能。在循环神经网络(RNN)中,注意力机制的引入进一步增强了模型的表达能力和泛化性能。本文将详细介绍注意力机制在RNN中的应用及其原理,包括核心概念、算法原理、数学模型、具体实践、应用场景等,希望能为读者深入理解和应用注意力机制提供有价值的参考。
常见注意力机制代码实现
qq_43471945的博客
10-10 2006
收集的常见注意力机制代码实现
注意力机制讲解与代码解析
slamer111的博客
09-10 5370
面试考的所有注意力机制代码与解析
注意力机制（SEnet、CBAM）附pytorch代码实现
m0_45267220的博客
06-04 3291
CNN中使用注意力机制是一个有效的提高网络性能的方法，它的核心重点就是让网络关注到它更需要关注的地方。我们使用注意力机制让网络可以自适应地关注某些区域，主要的实现就是加权值，我们的代码也是通过给通道或像素加权值实现注意力机制。
【python|attention】注意力机制代码
热门推荐
胡侃有料的博客
06-27 3万+
every blog every motto: You can do more than you think. 0. 前言 梳理目前主流的注意力机制代码，目前以pytorch为例。 说明： 特征图维度的组织形式为：（batch,channel,height,width） 1. 正文 1.1 SEBlock 2017 考虑通道间的注意力之间的关系，在通道上加入注意力机制 论文：https://arxiv.org/abs/1709.01507 代码：https://github.com/hujie-frank
注意力机制（含pytorch代码及各函数详解）
gary101818的博客
01-28 2万+
目录注意力机制非参注意力汇聚概述（不需要学习参数）参数化注意力机制概述正式系统学习1.平均汇聚（池化）2.非参数注意力汇聚（池化）3.带参数注意力汇聚 注意力机制 不随意线索：不需要有想法，一眼就看到的东西 随意线索：想看书，所以去找了一本书 1.卷积、全连接、池化层都只考虑不随意线索 2.注意力机制则显示的考虑随意线索 随意线索被称之为查询（query） 每个输入是一个值（value）和不随意线索（key）的对 通过注意力池化层来有偏向性的选择选择某些输入 与之前学习的所有层的区别在于加入了查询（q
人工智能概念：RNN中的注意力机制详解
Springfield3006的博客
07-05 1312
注意力机制综述：从认知模拟到深度学习 本文系统介绍了注意力机制的原理与应用。注意力机制模拟人类认知过程，通过权重分配聚焦关键信息，实现语义融合。文章详细剖析了注意力机制的本质、分类和实现方法：1）软注意采用连续权重全局关注；2）硬注意通过离散权重局部聚焦；3）自注意挖掘序列内部关系。以机器翻译为例，展示了带注意力机制的Encoder-Decoder模型处理流程，包括编码器状态计算和解码器注意力权重分配。文章还对比了拼接、点积等多种相似度计算方法，并分析了Transformer采用的点积缩放型注意力的优势。不
使用pytorch框架实现的各种注意力机制代码.zip
02-06
标题"使用PyTorch框架实现的各种注意力机制代码"表明，这个压缩包中包含了一系列用PyTorch编写的注意力机制的实现，这些代码可能涵盖了从基础的自注意力到更复杂的结构，如Transformer模型中的多头注意力（Multi-...
基于RNN的Tensorflow实现文本分类任务的注意力机制
08-08
通过阅读和运行这些代码，你可以更深入地理解如何在实际项目中应用RNN和注意力机制。此外，为了进一步提升模型性能，你还可以尝试调整超参数、集成其他技术（如预训练词嵌入）或使用更复杂的模型结构（如Transformer...
在PyTorch框架下实现循环神经网络（RNN）与注意力机制的完整代码示例
最新发布
11-14
代码实现：提供了完整的PyTorch代码，展示了如何在RNN模型中嵌入注意力机制。代码包括数据集的加载、模型的定义、训练过程以及预测结果的可视化。 使用说明 环境配置： 确保已安装PyTorch框架。 安装所需的Python...
Transformer中的注意力机制及代码
weixin_45671036的博客
04-07 5477
transformer注意力机制实现过程整理。
深度学习中一些注意力机制的介绍以及pytorch代码实现
学习笔记
07-15 1万+
因为最近看论文发现同一个模型用了不同的注意力机制计算方法，因此懵了好久，原来注意力机制也是多种多样的，为了以后方便看懂人家的注意力机制，还是要总结总结。
【深度学习】图像中的注意力机制简述和代码实现
weixin_44001371的博客
10-27 1358
SE注意力机制（Squeeze-and-Excitation Networks）在通道维度增加注意力机制，关键操作是squeeze和excitation。通过自动学习的方式，使用另外一个新的神经网络获取到特征图的每个通道的重要程度，然后用这个重要程度去给每个特征赋予一个权重值，从而让神经网络重点关注某些特征通道。提升对当前任务有用的特征图的通道，并抑制对当前任务用处不大的特征通道。
深度学习代码|Multi-Headed Attention (MHA)多头注意力机制的代码实现
weixin_47748259的博客
02-09 5880
定义多头自注意力机制中的线性变换操作（在自注意力机制中，需要将输入的特征向量通过线性变换映射到不同的空间中，以便进行多头注意力的计算。将向量拆分为给定数量的头部，以获得多头注意。'''d_model：模型输入的特征维度；heads：注意力机制中的头数；d_k：每个头部中以向量表示的维度数；bias：是否使用偏置项'''#线性变换的线性层，输入为d_model，输出为heads*d_k'''
注意力机制是如何实现的
zmhzmhzm的博客
04-17 1667
而多头注意力进一步增强了模型的表达能力。这种机制不仅是Transformer的基础，也被广泛应用于计算机视觉、语音处理等领域。，决定不同位置信息的重要性，再对信息进行加权融合。为了增强模型捕捉不同模式信息的能力，通常会将注意力机制扩展为。注意力机制的实现可以分解为几个核心步骤，其本质是通过。“猫追老鼠，因为它饿了”i )（维度为 ( d。
pytorch—实现各种注意力
m0_47005029的博客
07-08 6355
所谓Attention机制，便是聚焦于局部信息的机制，比如图像中的某一个图像区域。随着任务的变化，注意力区域往往会发生变化。面对上面这样的一张图，如果你只是从整体来看，只看到了很多人头，但是你拉近一个一个仔细看就了不得了，都是天才科学家。图中除了人脸之外的信息其实都是无用的，也做不了什么任务，Attention机制便是要找到这些最有用的信息，可以想见最简单的场景就是从照片中检测人脸了。注意力机制的核心重点就是让网络关注到它更需要关注的地方。
注意力机制
weixin_63685622的博客
08-26 2436
Q：查询向量K：键向量V：值向量常规注意力机制;Q!=K=V；自注意力机制：Q=K=Vsoftmax：归一化指数函数。
深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention)
L888666Q的博客
11-03 9719
常用的注意力机制多为SE Attention和CBAM Attention。它们基本都可以当成一个简单的网络。例如SE注意力机制，它主要就是由两个全连接层组成，这就是一个简单的MLP模型，只是它的输出变了样。所以，在我们把注意力机制加入主干网络里时，所选注意力机制的复杂程度也是我们要考虑的一个方面，因为增加注意力机制，也变相的增加了我们网络的深度，大小。
注意力（Attention）机制详解（附代码）
大摆王的博客
05-12 1万+
Attention机制是深度学习中的一种技术，特别是在自然语言处理（NLP）和计算机视觉领域中得到了广泛的应用。它的核心思想是模仿人类的注意力机制，即人类在处理信息时会集中注意力在某些关键部分上，而忽略其他不那么重要的信息。在机器学习模型中，这可以帮助模型更好地捕捉到输入数据中的关键信息。
深度学习中注意力机制的实现与优化方法
在给定文件的标题《基于注意力机制的代码实现与优化》中，重点聚焦于如何在主流深度学习框架（如Keras、TensorFlow）中具体实现注意力机制，并对其进行性能优化。描述部分进一步说明了注意力机制的基本原理及其在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值