【随笔】为什么transformer的FFN先升维后降维&FFN的作用

---

Transformer 前馈神经网络（FFN）结构

在 Transformer 模型中，每个编码器和解码器层都包含一个前馈神经网络（FFN）模块。这个模块的结构特点是先将输入的维度提升，再缩小回去。具体来说，假设输入向量的维度为 $d_{\text{model}}$，前馈神经网络会将维度升高至 $d_{\text{ff}}$，然后再降回 $d_{\text{model}}$。这一过程通常可表示为以下两个线性变换：

1. 提升维度（Expand Dimension）：第一个线性变换将输入向量的维度从 $d_{\text{model}}$ 提升至 $d_{\text{ff}}$，并应用激活函数。
2. 缩小维度（Reduce Dimension）：第二个线性变换将维度从 d ff d_{\text{ff}} d