位置编码(三.2) 苏剑林讲旋转位置编码 推导解析

导言

本文主要对苏剑林的文章《Transformer升级之路:4、二维位置的旋转式位置编码》的数学公式进行推导。在上一篇文章《位置编码(二.2) 旋转位置编码之苏剑林推导 1D/2D-RoPE 数学基础》中,读者已经补全了推导公式所需的数学基础知识。

原文解读

如何将一维RoPE与矩阵指数联系起来

关于原文的如下内容,对于第二个等号的两边,有三种方式验证:

  1. 验证等号右侧的矩阵指数,通过幂级数公式计算,能得到左侧矩阵。
  2. 验证等号右侧的矩阵指数,通过对角化分解后,计算得到左侧矩阵。(由于对角化分解的特征值条件公式
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值