Sinusoidal(正弦曲线)位置编码公式详细推导过程

Sinusoidal(正弦曲线)位置编码公式推导

参考链接

Transformer升级之路：1、Sinusoidal位置编码追根溯源

1. 前置数学的基本概念

1.1 内积

• 定义： 内积是两个向量之间的一种运算，其结果为一个标量。
• 公式： 对于向量 $a=[a_1,a_2,\dots ,a_n]$ 和 $b=[b_1,b_2,\dots ,b_n]$，内积定义为
  $$⟨a,b⟩=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n$$
• 解释： 即将两个向量对应元素相乘后求和。

1.2 复数及其性质

• 复数： 形式为 $a+bi$，其中 $a,b$ 为实数，$i$ 为虚数单位，满足 $i^2=-1$。
• 复数的共轭： 对于复数 $a+bi$，其共轭为 $a-bi$。
• 实部与虚部： 对于 $a+bi$，实部为 $a$，虚部为 $b$。

1.3 复数的指数形式

• 模长： 对于复数 $z=a+bi$，其模长为
  $$r=\sqrt{a^2+b^2}$$
• 幅角： 幅角为
  $$\varphi ={\tan }^{-1}\left(\frac{b}{a}\right)$$
• 指数表示：
  故复数可写为
  $$z=r{e}^{i\varphi }$$

1.4 复数的欧拉公式

$$e^{i\theta }=\cos (\theta )+i\sin (\theta )$$

---

2. 推导过程

2.1 Sinusoidal的相对位置编码

在Transformer里，因为输入的Token是并行输入的，所以模型并不能知道输入的Token的先后顺序的位置信息。但是位置信息有助于模型区分不同的输入Token从而更好地理解输入的内容，因此需要给模型输入位置信息。

在Transformer里，给模型输入位置信息的是绝对位置编码，位置编码只跟当前位置有关，而且各个位置编码之间是互相独立的。但位置之间不是互相独立的，而是邻近之间的位置编码越相关，而距离较远的位置之间的位置编码应尽量不相关。

而相对位置编码则能够解决这个问题。相对位置编码不是考虑当前位置，而是考虑当前位置和其他位置之间的关系，它们之间的关系应该满足：位置向量之间的内积只依赖于位置差。假设当前位置$m$和它对应的位置向量$p_m$，另一个位置$n$和它对应的位置向量$p_n $。

假设存在一个函数$g$使得
$$<p_m,p_n>=g(m-n)$$

这也被称为使用绝对位置编码（$<p_m,p_n>$）实现相对位置编码（$g(m-n)$）

2.2 二维向量的内积

• 复数与二维向量的对应：
  将二维向量 $[x,y]$ 视为复数 $x+yi$。

• 复数乘法法则：
  对于复数 $z_1=a+bi$ 和 $z_2=c+di$，有
  $$z_1{z}_2=(a+bi)(c+di)=(ac-bd)+(ad+bc)i$$

• 内积关系：
  取乘积的实部，便得到
  $$\mathrm{Re}(z_1{z}_2)=ac-bd$$
  这正好等同于向量 $[a,b]$ 与 $[c,d]$ 的内积。

• 应用：
  对于复数形式的向量
  $$p_m=x_m+y_{m}i,p_n=x_n+y_{n}i$$
  内积可表示为
  $$⟨p_m,p_n⟩=\mathrm{Re}(p_m{p}_n^{\ast })=x_m{x}_n+y_m{y}_n$$
  其中 $p_n^{\ast }$ 是 $p_n$ 的共轭，即 $p_n^{\ast }=x_n-y_{n}i$。

2.3 构造满足相对位置信息的假设

• 为使内积仅依赖于位置差，假设存在复数 $q_{m-n}$ 使得
  $$p_m{p}_n^{\ast }=q_{m-n}$$
• 取实部后便有
  $$⟨p_m,p_n⟩=\mathrm{Re}(q_{m-n})$$

2.4 使用复数的指数形式

• 表示： 将复数写成指数形式
  $$p_m=r_m{e}^{i{\varphi }_m},p_n^{\ast }=r_n{e}^{-i{\varphi }_n},q_{m-n}=R_{m-n}{e}^{i{\Phi }_{m-n}}$$
• 代入关系式：
  将上述表达式代入 $p_m{p}_n^{\ast }=q_{m-n}$ 得
  $$r_m{r}_n{e}^{i({\varphi }_m-{\varphi }_n)}=R_{m-n}{e}^{i{\Phi }_{m-n}}$$
• 拆分成两部分：
  • 模长关系：
    $$r_m{r}_n=R_{m-n}$$
  • 角度关系：
    $${\varphi }_m-{\varphi }_n={\Phi }_{m-n}$$

2.5 求解方程

• 求解模长：
  令 $n=m$ 得
  $$r_m^2=R_0$$
  为简化，令 $R_0=1$，则 $r_m=1$，即所有位置编码的模长均为 1。

• 求解角度：

  1. 令 $n=0$，有
     $${\varphi }_m-{\varphi }_0={\Phi }_m$$
     取 ${\varphi }_0=0$，则 ${\varphi }_m={\Phi }_m$，即
     $${\varphi }_m-{\varphi }_n={\varphi }_{m-n}$$
  2. 令 $n=m-1$，则
     $${\varphi }_m-{\varphi }_{m-1}={\varphi }_1$$
     这说明 { ϕ m } \{\phi_m\} {ϕm​} 为等差数列，其通解为
     $${\varphi }_m=m\theta$$
     其中 $\theta$ 为常数。

• 得到二维位置编码：
  由上述可得
  $$p_m=e^{im\theta }=\cos (m\theta )+i\sin (m\theta )$$
  以向量形式表示为
  $$p_m=\left(\begin{array}{c}\cos (m\theta )\\ \sin (m\theta )\end{array}\right)$$

2.6 高维情况

• 原理：
  利用内积的线性性质，更高维（偶数维）的位置信息可由多个二维位置编码组合而成。
• 表示：
  若维度 $d$ 为偶数，则用不同角度 ${\theta }_k$ ` 表示每个二维编码，得到 $d$ 维位置编码：
  $$p_m=\left(\begin{array}{c}\cos (m{\theta }_0)\\ \sin (m{\theta }_0)\\ \cos (m{\theta }_1)\\ \sin (m{\theta }_1)\\ ⋮\\ \cos \left(m{\theta }_{\frac{d}{2}-1}\right)\\ \sin \left(m{\theta }_{\frac{d}{2}-1}\right)\end{array}\right)$$

---

3. 总结

• 通过复数的表示和指数形式，将二维位置编码问题转化为求解模长与角度的关系。
• 在简化假设下（如 $R_0=1$ 和 ${\varphi }_0=0$），可得 ${\varphi }_m=m\theta$，从而得到二维位置编码表达式
  $$p_m=e^{im\theta }=\cos (m\theta )+i\sin (m\theta )$$
• 高维位置编码则视为多个二维编码的线性叠加，每个编码对应一个不同的角度 ${\theta }_k$。