m0_56050886的博客

原创 Transformer 位置编码详解

Transformer 里的位置编码（Positional Encoding / Positional Embedding）解决的是一个非常根本的问题：Self-Attention 本身只看 token 之间的内容关系，不天然知道 token 的先后顺序。也就是说，如果没有位置编码，Transformer 看到的更像是一袋 token，而不是一句有顺序的话。例如：我 喜欢 你你 喜欢 我这两句话包含相同的 token，但意思完全不同。如果模型只知道出现了“我”“喜欢”“你”，却不知道顺序，它就无法区分这两句