自然语言处理基础知识入门(四) Transformer模型的positional encoding位置编码详解

---

前言

提示：本章节旨在补充和扩展自然语言处理基础知识入门(四)中关于Transformer模型的位置编码（positional encoding）的讨论，提供更深入的解析以助于对该概念的整体理解。

https://kazemnejad.com/blog/transformer_architecture_positional_encoding/ https://zhuanlan.zhihu.com/p/454482273
https://towardsdatascience.com/master-positional-encoding-part-i-63c05d90a0c3
参考了这两篇博文

Vaswani等人推出了Transformer架构，这是一款创新的、基于纯注意力机制的序列到序列架构。其出色的并行训练能力与性能提升，使其迅速在自然语言处理（NLP）领域以及最新的计算机视觉（CV）研究中获得了广泛的认可和应用。

Transformer因其已被集成至主流的深度学习框架中，成为了许多研究人员进