[Datawhale]Task03——Transformer的Decoder详解

1.解码器(Decoder)

Decoderde的任务是生成文本序列，需要注意的是解码器是自回归的，Decoder部分主要包括：Masked Multi-Head Attention 具有掩码的多头注意力机制 / Multi-Head Attention 多头注意力机制 / Feed Forward 前馈网络 / 分类器。

2.掩码(Mask)

3.模型的训练与评估

4.Tokenization