transformer中的嵌入位置编码的周期性

简单记录学习~

在 Transformer 的位置编码（Positional Encoding, PE）中，我们使用正弦和余弦函数来生成位置信息，其公式如下：

其中：

• pos 表示序列中的位置（例如，第 0 个 token，第 1 个 token 等）。
• i 表示嵌入维度的一部分索引（即，每个 token 的嵌入是一个 d_model 维的向量）。
• dmodel​ 是嵌入维度。