16 | Tensorflow实现Transformer 编码器层

Transformer是一种基于自注意力机制（self-attention mechanism）的深度学习模型，最初由Vaswani等人于2017年提出，广泛用于自然语言处理任务，如机器翻译、文本生成等。以下是Transformer的基本原理：

1. 自注意力机制（Self-Attention Mechanism）：

   • Transformer的核心是自注意力机制，也称为多头注意力机制。它允许模型在处理序列数据时对不同位置的信息分配不同的注意力权重。
   • 在每一层中，输入序列被映射为三个向量：查询（Query）、键（Key）、值（Value）。
   • 通过计算查询和键之间的点积，得到注意力分数。将注意力分数经过softmax操作，得到权重，再将权重与值相乘并求和，得到最终的自注意力输出。

2. 多头注意力机制（Multi-Head Attention）：

   • Transformer不仅使用单个自注意力头ÿ