PyTorch 实战：Transformer 模型搭建全解析

Transformer 作为一种强大的序列到序列模型，凭借自注意力机制在诸多领域大放异彩。它能并行处理序列，有效捕捉上下文关系，其架构包含编码器与解码器，各由多层组件构成，涉及自注意力、前馈神经网络、归一化和 Dropout 等关键环节 。下面我们深入探讨其核心要点，并结合代码实现进行详细解读。

一、Transformer 核心公式与机制

（一）自注意力计算

自注意力机制是 Transformer 的核心，其计算基于公式\(Attention(Q, K, V)=softmax\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V\) 。其中，Q、K、V分别是查询、键和值矩阵，由输入X分别乘以对应的权重矩阵\(W_Q\)、\(W_K\)、\(W_V\)得到 。\(d_{k}\)表示键的维度，除以\(\sqrt{d_{k}}\) ，一方面可防止\(QK^{T}\)过大导致 softmax 计算溢出，另一方面能让\(QK^{T}\)结果满足均值为 0、方差为 1 的分布 。\(QK^{T}\)本质上是计算向量间的余弦相似度，反映向量方向上的相似程度。

（二）多头注意力机制

多头注意力机制将输入x拆分为h份，独立计算h组不同的线性投影得到各自的Q、K、V ，然后并行计算注意力，最后拼接h个注意力池化结果，并通过可学习的线性投影产生最终输出。这种设计使每个头能关注输入的不同部分，增强了模型对复杂函数的表示能力。

（三）位置编码

由于 Transformer 没有循环结构，位置编码用于保留序列中的位置信息，确保模型在处理序列时能感知元素的位置。

二、自注意力与多头注意力的实现

（一）自注意力实现

在 PyTorch 中，自注意力模块Self_Attention的实现如下：

python

import numpy as np
import torch
from torch import nn

class Self_Attention(nn.Module):
    def __init__(self, input_dim, dim_k, dim_v):
        super(Self_Attention, self).__init__()
        self.q = nn.Linear(input_dim, dim_k)
        self.k = nn.Linear(input_dim, dim_k)
        self.v = nn.Linear(input_dim, dim_v)
        self._norm_fact = 1 / np.sqrt(dim_k)

    def forward(self, x):
        Q