bert中的Position Embedding 具体是怎么实现的，是绝对位置吗？ 相比较于decoder only的生成模型，为什么需要rope旋转位置编码？

GPT-4o

Poe

1. BERT 中的 Position Embedding 是怎么实现的？

在 BERT 中，**Position Embedding（位置嵌入）**主要用于表示输入序列中每个 token 的位置。由于 Transformer 模型本身没有内置的顺序感（它是完全基于自注意力机制的），需要通过位置嵌入来让模型感知序列中 token 的顺序。

绝对位置嵌入

BERT 使用的是 绝对位置嵌入，即每个位置都有一个固定的向量表示。这些位置嵌入是一