Bahdanau注意力方式公式原理详解

一、简介

Bahdanau注意力（又称加性注意力）由Dzmitry Bahdanau等人在2015年提出，用于改进传统编码器-解码器模型在长序列任务（如机器翻译）中的性能。其核心思想是：动态计算输入序列各部分的权重，生成上下文相关的语义向量，使解码器能自适应地关注输入的关键部分。

二、核心思想和计算步骤

改进了Decoder部分，输入有两个部分，一方面是文本输入，另一个是最后一个时间步输出和decoder原本的输入拼接起来，每一个时间步都是输入同一个前面encoder的最后一个时间步的输出。但是这样看起来不太合理，应该看着相对应的时间步的输出，所以第一个就关注前面第一个的时间步

• 编码器隐藏状态：编码器对输入序列的逐位置特征提取结果，记录每个输入元素的语义及其上下文信息。
• 解码器隐藏状态：解码器生成输出序列时的中间记忆，保存已生成部分的上下文，并指导下一步生成。

第一步： 编码器隐藏状态

输入词向量比如[x1,x2,x3....,xt]，然后使用双向RNN编码获得每个位置的中间状态也就是隐藏状态，然后拼接一下：

这样得到的hj就可以拥有上下文的信息。

第二步：解码器隐藏状态

• 输入：上一时刻解码器状态st−1和输出yt−1​
• 生成：当前时刻解码器状态st=RNN(yt−1,st−1)
  意义：st​编码了到当前时刻为止已生成的目标序列信息。

第三步：计算注意力分数

注意力分数本质是**“相关性标尺”**，用于量化解码器当前生成位置（Query）与编码器所有输入位置（Key）的关联强度，决定模型应重点关注哪些输入信息。

衡量编码器第j个位置hj与解码器当前状态st​的关联程度。公式：

• Wh​hj​：将编码器状态hj​线性变换到特定维度。
• Wsst​：将解码器状态sts线性变换到相同维度。
• tanh：非线性激活，增强表达能力。
• vT：将结果投影为标量分数（类似“相关性打分”）。
• h代表编码器的隐藏状态，s代表解码器的隐藏状态

第四步：归一化注意力权重

使用softmax进行归一化：

 

将分数转换为概率分布，确保∑j=1Tαtj=1，权重高的位置对当前解码更重要

 

第五步：生成上下文向量

加权求和：

ct​是输入序列的“动态摘要”，聚焦当前解码最相关的信息。

第六步：解码预测

• 拼接与预测：

  

  关键点：
  • [st;ct]：将解码器状态与上下文向量拼接，同时利用历史信息和当前关注的输入信息。
  • 最终通过Softmax生成目标词的概率分布。
  • st​：解码器在时间步 t 的隐藏状态（通常为RNN/LSTM/GRU的隐藏层输出，或Transformer解码器的自注意力输出）。
  • ct：时间步 tt的上下文向量（通过注意力机制从编码器提取的加权信息）。
  • [st;ct]：表示将 st​ 和 ct**拼接（Concatenate）**为一个更长的向量。
  • Wy​：一个可学习的权重矩阵，用于将拼接后的向量映射到目标词汇表维度。
  • by​：偏置项。
  • Softmax：将线性变换结果归一化为概率分布。