NLP：注意力机制

最新推荐文章于 2025-05-12 16:43:29 发布

00&00

最新推荐文章于 2025-05-12 16:43:29 发布

阅读量1.2k

点赞数 38

分类专栏：人工智能自然语言处理深度学习文章标签：自然语言处理人工智能深度学习

本文链接：https://blog.youkuaiyun.com/Wei_sx/article/details/146990707

版权

人工智能同时被 3 个专栏收录

223 篇文章

订阅专栏

深度学习

82 篇文章

订阅专栏

自然语言处理

16 篇文章

订阅专栏

注意力机制（Attention Mechanism）是一种深度学习技术，最初用于自然语言处理任务，以帮助模型在生成每个输出时关注输入序列中的不同部分，而不是简单地依赖于固定长度的上下文信息。该机制极大提高了模型处理序列数据的能力，尤其是在翻译和生成任务中取得了显著的效果。

1. 注意力机制的基本概念

注意力机制允许模型动态地选择性关注输入数据的某些部分，因此可以有效捕获长距离依赖性。基本思想是根据当前要生成的输出单元，计算与输入序列各个部分的相关性（权重），这些权重决定了每个输入单元在生成当前输出时的重要性。

2. 注意力机制的工作原理

在最基本的注意力机制中，以下是计算过程的核心步骤：

2.1 输入向量

假设输入序列是 $[x_1, x_2, \ldots, x_n]$ 。

2.2 查询、键、值

        查询（Query）：当前输出单元的请求信息（通常是来自解码器的状态），表示为 $Q$ 。
        键（Key）：每个输入单元（通常来自编码器）的表示，表示为 $K$ 。
        值（Value）：与每个键关联的输入单元的表示，表示为 $V$ 。

2.3 计算注意力权重

在计算注意力权重时，使用查询和键之间的相似度（通常通过点积操作）来评估输入向量的重要性。在给定查询 $Q$ 的情况下，注意力权重可以计算如下：

$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$

其中， $d_k$ 是键的维度，用于缩放计算结果，防止值过大导致的梯度消失。

2.4 生成上下文向量

随后，通过加权平均生成的注意力权重和对应的值，形成上下文向量 $C$ ，这个向量将用于生成输出。

3. 注意力机制的类型

3.1 简单注意力（Bahdanau Attention）

这是第一个提出的注意力机制，通常用于机器翻译任务。它通过计算每个输入状态与当前解码状态的相关性来为每个输入分配权重。

3.2 降采样注意力（Luong Attention）

这是针对序列到序列模型的一种改进，通过不同的计算方式（如点积或加法）来调整注意力权重。

3.3 自注意力（Self-Attention）

在自注意力机制中，输入序列的每个部分会相互关注。这个机制在变换器（Transformer）模型中被广泛应用，允许并行处理序列并捕获全局依赖关系。

3.4 多头注意力（Multi-Head Attention）

这种注意力机制通过多个不同的线性映射并行计算多组注意力头，以便模型能从多个子空间中学习信息。它常用于 Transformer 架构中。

4. 注意力机制的应用

注意力机制广泛应用于各种任务，包括但不限于：
        机器翻译：在翻译过程中，可以选择性地关注源语言句子的某些部分。
        文本摘要：生成文本摘要时，关注源文本中的重要部分。
        图像处理：在图像标注和图像生成的任务中，对不同的图像区域进行注意。
        语音识别：在处理长语音输入时，注意识别的关键信息。

5. PyTorch 中的注意力机制示例

以下是一个使用 PyTorch 实现简单注意力机制的代码示例：

import torch  
import torch.nn as nn  
import torch.nn.functional as F  

class Attention(nn.Module):  
    def __init__(self, embed_size):  
        super(Attention, self).__init__()  
        self.embed_size = embed_size  
        self.Wa = nn.Linear(embed_size, embed_size)  
        self.Ua = nn.Linear(embed_size, embed_size)  
        self.Va = nn.Linear(embed_size, 1)  

    def forward(self, query, keys, values):  
        # 计算注意力权重  
        # 先计算得分  
        scores = self.Va(torch.tanh(self.Wa(query) + self.Ua(keys)))  
        
        # 使用 softmax 归一化得分为权重  
        attention_weights = F.softmax(scores, dim=1)  

        # 计算上下文向量  
        context = attention_weights * values  # 对应值的加权  
        context = context.sum(dim=1)  # 聚合上下文  

        return context, attention_weights  # 返回上下文向量和注意力权重  

# 示例用法  
if __name__ == "__main__":  
    # 假设输入参数  
    batch_size = 2  
    seq_length = 5  
    embed_size = 10  # 嵌入维度  

    # 随机初始化查询、键和值  
    query = torch.rand(batch_size, 1, embed_size)  # 在一个批次中，查询只有一个时间步  
    keys = torch.rand(batch_size, seq_length, embed_size)  # 键有序列长度的时间步  
    values = torch.rand(batch_size, seq_length, embed_size)  # 值与键相同  

    # 创建注意力层  
    attention = Attention(embed_size)  

    # 获取上下文向量和注意力权重  
    context, attention_weights = attention(query, keys, values)  

    print("Context Vector:", context)  
    print("Attention Weights:", attention_weights)

代码解析

5.1 Attention 类
`Attention` 是一个 nn.Module 的子类，用于实现注意力机制。`embed_size` 定义了嵌入层的维度。
定义了三个线性变换 `Wa`, `Ua`, 和 `Va`，分别对应于查询、键和值的权重矩阵。

5.2 forward 方法
        接受 `query`, `keys`, 和 `values` 作为输入。
        首先，通过加法和 `tanh` 激活函数计算得分（score），得分反映了查询和键之间的相似度。
        然后，应用 `softmax` 函数将得分归一化为注意力权重（注意力分布）。
        将注意力权重与值相乘并求和，以生成上下文向量（context），表示当前时刻应该关注的信息。

5.3 示例用法
在 `__main__` 部分，初始化查询、键和值的随机张量。
通过实例化 `Attention` 类并调用 `forward` 方法，获取上下文向量和注意力权重。