Transformer：论文《Attention is all you need》+李宏毅课程

最新推荐文章于 2025-02-11 17:26:38 发布

原创

最新推荐文章于 2025-02-11 17:26:38 发布 · 700 阅读

2 ·

CC 4.0 BY-SA版权

Transformer是一种序列到序列模型，其核心是Self-Attention机制，允许同时处理输入序列信息，提高训练效率。Encoder由多个包含多头自注意力和全连接层的重复模块组成，Decoder在Encoder基础上增加了一个额外的支层，考虑了位置信息。Self-Attention通过计算query、key和value的加权求和来选择性地利用输入序列信息，而Multi-head Self-Attention则能捕捉不同位置的多种信息。此外，Positional Encoding引入了位置信息，以弥补Self-Attention缺乏的位置敏感性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Transformer

Seq2seq model with Self-attention
在这里插入图片描述
在RNN中虽然用到了输入序列的全部信息，但是很难实现输入序列词的同时训练，在self-attention layer中，目标序列 $b_1,b_2,...,b_i$ 中每一个都是基于全部输入序列而得到的，并且它们都是同时训练的。

Transformer结构：
在这里插入图片描述
Encoder：
编码器由6个相同的层堆叠在一起，每一层又有两个支层。第一个支层是一个多头的自注意机制，第二个支层是一个简单的全连接前馈网络。在两个支层外面都添加了一个residual的连接，然后进行了layer nomalization的操作。模型所有的支层以及embedding层的输出维度都是 $d_{model}$ 。