5、深入了解Transformer与BERT模型

深入了解Transformer与BERT模型

1. Transformer模型架构

1.1 前馈网络（FFN）

前馈网络（FFN）的输入是上一子层层归一化（post - LN）后的输出，维度为 dmodel = 512 。FFN具有以下特点：
- 编码器和解码器中的FFN是全连接的。
- 它是按位置处理的网络，每个位置独立且以相同方式处理。
- 包含两层，并应用ReLU激活函数。
- 输入和输出维度为 dmodel = 512 ，但内层维度 dff = 2048 。
- 可视为进行两次大小为1的卷积操作。

优化和标准化后的FFN可表示为： FFN(x) = max (0, xW1 + b1) W2 + b2 。其输出经过层归一化后，被发送到编码器栈的下一层和解码器栈的多头注意力层。

1.2 解码器栈

Transformer模型的解码器层与编码器层类似，也是层的堆叠。每个解码器层包含三个子层：多头掩码注意力机制、多头注意力机制和全连接的按位置前馈网络。

解码器的第三个主要子层是掩码多头注意力机制，在该子层输出的给定位置，后续单词被掩码，使模型在推理时不依赖于序列的其余部分，即无法看到序列的未来部分。

每个主要子层都有残差连接 Sublayer(x) ，并进行层归一化： LayerNormalization (x + Sublayer(x)) 。嵌入层子层仅存在于栈的底层