一文讲透Transformer 的正余弦位置编码核心原理_transformer 位置编码正弦余弦-优快云博客

前言

做过Transformer、BERT、大模型微调的开发者，几乎人人都用过正余弦位置编码（Sinusoidal Positional Encoding）。

日常开发中，我们只会机械套用公式：偶数维用sin、奇数维用cos，固定底数10000，直接加到词嵌入向量上，训练全程固定不更新。

但绝大多数中级开发者都停留在会用但不懂底层的状态，甚至长期被各类错误认知误导。本文彻底破除误区，从业务场景、设计目标、数学原理、工程权衡四个维度，完整拆解正余弦位置编码的底层逻辑，读完你将彻底明白：为什么Transformer原生选择正余弦编码，而非可学习位置编码、绝对位置编码、相对位置编码？公式的每一项参数到底有什么作用？

绝对位置编码为什么不可以

绝对位置编码最简单粗暴的位置编码

最容易想到的办法：直接给序号

猫 = 第 1 位，追 = 第 2 位，狗 = 第 3 位

把「单词本身的向量」+「位置数字向量」融合在一起。

狗  追  小  猫   咪   小  猫  咪  跑  回  家

1   2  3   4    5   6   7   8   9  10  11

问题：

句子长短不固定，长句子序号会巨大，序列变长时pos数值无限变大，直接叠加到词向量会数值爆炸，破坏语义分布、梯度爆炸；
只能体现绝对差值，模型很难学到「相近位置」的关系：第 5 位和第 6 位离得近，第 1 位和第 10 位离得远，单纯数字无法体现远近差距。无法体现 “相邻位置更相似、远距离差异更大” 的自然语序规律。

比如一句话 200 个字，第 199、200 位序号很大，模型感知不到他俩是紧挨着的。

可学习位置编码为什么不行

BERT 中的使用,直接训练位置向量,初始化一个参数矩阵[max_seq_len,dmodel]，随模型训练更新位置向量。给每个位置单独造一组参数训练。

优点：简单好训

缺点：长度超限就报废缺陷：无法外推。训练时最大句子长度是 512，推理时遇到 600 字长文本，多出的位置没有训练好的编码参数，模型直接失效。

训练时最长句子是 100 个词，当测试来了 120 个词，多出 20 个位置没有训练过的编码，模型直接懵掉。

位置编号硬性要求：

唯一：不同位置pos，编码向量完全不同；
相对位置可推导：给定PE(pos)，能推出PE(pos+k)，模型感知词语间隔；
有界：向量数值稳定在[−1,1]，叠加词向量不会数值爆炸；
可外推：训练没见过的超长位置，能直接计算编码，不用重新训练参数。

正余弦交替位置编码

Transformer原论文标准公式，无任何删减改动：

$PE(pos, 2i) = \sin\left(\frac{pos}{10000^{\frac{2i}{d_{model}}}}\right)$

$PE(pos, 2i+1) = \cos\left(\frac{pos}{10000^{\frac{2i}{d_{model}}}}\right)$

原因：纯正弦编码无法表达相对位置的线性变换

目标：希望存在线性变换 $M_\Delta$ 使得： $\text{PE}(t+\Delta) = M_\Delta \cdot \text{PE}(t)$ 对所有 $t$ 成立

数学推导：设 $\text{PE}(t)=\sin(t)$ （单维度），则： $\sin(t+\Delta)=\sin t\cos\Delta + \cos t\sin\Delta$

问题：右侧出现 $\cos t$ ，但 $\text{PE}(t)$ 中只有 $\sin t$ → 无法用 $\sin t$ 的线性组合表示。

解决方案：同时包含 $\sin$ 和 $\cos$ 定义二维位置编码： $\text{PE}(t)=\begin{bmatrix}\sin t \\ \cos t\end{bmatrix}$

$\sin(\alpha+\beta) = \sin\alpha\cos\beta + \cos\alpha\sin\beta$

$\cos(\alpha+\beta) = \cos\alpha\cos\beta - \sin\alpha\sin\beta$

位置偏移可表示为线性旋转： $\begin{bmatrix}\sin(t+\Delta) \\ \cos(t+\Delta)\end{bmatrix}= \begin{bmatrix}\cos\Delta & \sin\Delta \\ -\sin\Delta & \cos\Delta\end{bmatrix} \begin{bmatrix}\sin t \\ \cos t\end{bmatrix}$ 其中 $M_\Delta$ 是仅依赖偏移量 $\Delta$ 的旋转矩阵： $M_\Delta=\begin{bmatrix}\cos\Delta & \sin\Delta \\ -\sin\Delta & \cos\Delta\end{bmatrix}$