从字面上理解这个编码的意思,就是我对一个位置编码时同时涉及到正余玄编码,在有关transformer中的编码方式为一半正玄编码,一半余玄编码(并且这两种方式是交替编码的),当然,根据我个人的理解,这个比例是可以调整的,且看有没有必要进行调整。
eg:例如我有一个位置,他的编号为1,那么我希望用正余玄对他进行编码,比如编码为10dim,这里的dim是可以自定义的,那么我得到的这10dim编码,有5dim是正玄计算得到的,有5dim是余玄计算得到的。
Method 图片序列的1D编码
例如我的图片被切成了9个小方格,编码依次是1,2,3,……9,也就是pos=1,2,3,……9,那么每一个position embedding如下计算,dim是偶数:
PE(pos,2i)=sin(pos/10002i/dim),i∈(0,dim/2)PE_{(pos,2i)}=sin(pos/1000^{2i/dim}),i\in(0,dim/2)PE(pos,2i)=sin(po<