22、注意力机制与Transformer模型详解

注意力机制与Transformer模型详解

1. 注意力机制优势概述

注意力机制与循环神经网络（RNN）在处理序列时存在显著差异，主要优势如下：
- 直接访问序列元素 ：RNN将输入元素信息编码在单个隐藏向量中，理论上代表所有序列元素的浓缩版本，但实际中，它在处理约100个标记的序列后，新标记会开始抹去旧标记的信息，代表能力有限。而注意力机制可直接访问所有输入序列元素，虽然对最大序列长度有严格限制，但截至目前，基于Transformer的大语言模型（LLM）能处理超过32,000个标记的序列。
- 输入序列并行处理 ：RNN按顺序逐个处理输入序列元素，无法并行化。注意力机制则完全由矩阵乘法运算组成，这些运算非常适合并行处理，这使得在大型训练数据集上训练具有数十亿可训练参数的LLM成为可能。

不过，注意力机制也有缺点，即它不像RNN那样能保留序列元素的顺序。但在Transformer编码器部分会介绍解决此限制的方法。

2. 实现注意力机制

2.1 缩放点积注意力实现

首先实现常规的缩放点积注意力，公式为 $Attention(Q, K, V) = softmax(QK^T / \sqrt{d_k})V$，其中 $Q$ 为查询，$K$ 为键，$V$ 为值。代码如下：

import math

def attention(query, key, value, mask=None, dropout=None):
    d_k = query.size(-1)