weixin_44851449的博客

原创 Transformer Encoder你真的懂了吗？

文章目录1. position enconding(位置编码)2. self attention mechanism(自注意力机制)attention mask3. layer normalization和残差连接1)残差连接2) Layer Normalization4. transformer encoder整体结构1) 字向量与位置编码2) 自注意力机制3) 残差连接与Layer Normalization4) Feed Forward(其实就是两层线性映射并用激活函数激活，比如说ReLU)5) 重复