浅谈正余玄位置编码

本文探讨了正余玄编码在Transformer中的使用,特别是1D编码方法。通过将位置编码为一半正弦,一半余弦信号,并且允许比例调整。以一个9个方格的图片序列为例,解释了如何计算位置嵌入,其中维度为偶数,公式为PE(pos, 2i) = sin(pos/10002i/dim)和PE(pos, 2i+1) = cos(pos/1000(2i+1)/dim)。附带的代码实现进一步说明了这一过程。" 133534808,20015009,Yii框架ActiveRecord事务嵌套详解,"['PHP', '数据库']

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

从字面上理解这个编码的意思,就是我对一个位置编码时同时涉及到正余玄编码,在有关transformer中的编码方式为一半正玄编码,一半余玄编码(并且这两种方式是交替编码的),当然,根据我个人的理解,这个比例是可以调整的,且看有没有必要进行调整。
eg:例如我有一个位置,他的编号为1,那么我希望用正余玄对他进行编码,比如编码为10dim,这里的dim是可以自定义的,那么我得到的这10dim编码,有5dim是正玄计算得到的,有5dim是余玄计算得到的。

Method 图片序列的1D编码

例如我的图片被切成了9个小方格,编码依次是1,2,3,……9,也就是pos=1,2,3,……9,那么每一个position embedding如下计算,dim是偶数:
PE(pos,2i)=sin(pos/10002i/dim),i∈(0,dim/2)PE_{(pos,2i)}=sin(pos/1000^{2i/dim}),i\in(0,dim/2)PE(pos,2i)=sin(po<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值