浅谈正余玄位置编码

原创

已于 2022-07-07 11:44:28 修改 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#numpy #python #开发语言

于 2022-07-07 11:42:09 首次发布

本文探讨了正余玄编码在Transformer中的使用，特别是1D编码方法。通过将位置编码为一半正弦，一半余弦信号，并且允许比例调整。以一个9个方格的图片序列为例，解释了如何计算位置嵌入，其中维度为偶数，公式为PE(pos, 2i) = sin(pos/10002i/dim)和PE(pos, 2i+1) = cos(pos/1000(2i+1)/dim)。附带的代码实现进一步说明了这一过程。" 133534808,20015009,Yii框架ActiveRecord事务嵌套详解,"['PHP', '数据库']

从字面上理解这个编码的意思，就是我对一个位置编码时同时涉及到正余玄编码，在有关transformer中的编码方式为一半正玄编码，一半余玄编码（并且这两种方式是交替编码的），当然，根据我个人的理解，这个比例是可以调整的，且看有没有必要进行调整。
eg:例如我有一个位置，他的编号为1，那么我希望用正余玄对他进行编码，比如编码为10dim,这里的dim是可以自定义的，那么我得到的这10dim编码，有5dim是正玄计算得到的，有5dim是余玄计算得到的。

Method 图片序列的1D编码

例如我的图片被切成了9个小方格，编码依次是1，2，3，……9，也就是pos=1,2,3，……9，那么每一个position embedding如下计算,dim是偶数：
$PE(pos,2i)=sin(pos/10002i/dim)，i∈(0,dim/2)PE_{(pos,2i)}=sin(pos/1000^{2i/dim})，i\in(0,dim/2)$