文章目录
导言
本文主要对苏剑林的文章《Transformer升级之路:4、二维位置的旋转式位置编码》的数学公式进行推导。在上一篇文章《位置编码(二.2) 旋转位置编码之苏剑林推导 1D/2D-RoPE 数学基础》中,读者已经补全了推导公式所需的数学基础知识。
原文解读
如何将一维RoPE与矩阵指数联系起来
关于原文的如下内容,对于第二个等号的两边,有三种方式验证:
- 验证等号右侧的矩阵指数,通过幂级数公式计算,能得到左侧矩阵。
- 验证等号右侧的矩阵指数,通过对角化分解后,计算得到左侧矩阵。(由于对角化分解的特征值条件公式