Transformer模型-encoder编码器，padding填充，source mask填充掩码的简明介绍

 今天介绍transformer模型的encoder编码器，padding填充，source mask填充掩码

背景

encoder编码器层是对之前文章中提到的子层的封装。它接收位置嵌入的序列，并将其通过多头注意力机制和位置感知前馈网络。在每个子层之后，它执行残差连接和层归一化。

因为要循环n次，所以封装到一起就比较方便。

为了充分利用多头注意力子层的优势，输入标记会先通过一堆编码器层，然后再传递给解码器。这在文章开头的图片中用Nx表示，而上面的图片展示了这些堆叠的编码器如何将其输出传递给解码器层，这将在下一篇文章中讨论。

通过前向传播后，可以通过encoder.attn_probs访问注意力概率。

为什么要进行填充和掩码操作？

填充Padding

在实际应用中，一个批次中更可能出现的是长度各异的序列。为了保证一个批次中的所有序列长度相同，会对序列进行填充。当这种情况发生时，模型不需要关注填充标记。为每个序列创建一个掩码向量，以反映应该关注的值。

这个掩码的形状为(batch_size, 1, 1, seq_length)。它会在每个头对序列的表示中进行广播。

例如，下面的三个序列长度不同：