一步一步理解大模型：因果掩码

GPT的训练方法是使用因果掩码（causal mask），让模型在预测当前令牌时不能看到未来的令牌。

在Transformer模型中，自注意力（self-attention）是在整个令牌（token）序列上计算的，包括当前令牌之后的令牌。

在训练期间，我们不希望模型在预测当前令牌时看到未来的令牌而“作弊”。 为了防止这种情况，我们使用了因果掩码（causal mask），将所有未来的令牌设置为零，有效地从注意力机制中屏蔽了它们。

这使得模型在进行预测时只能关注过去和当前的令牌，并确保它仅基于每个时间步骤可用的信息进行预测。

具体实现中，这种掩码可以通过原始输入和一个合适的上三角矩阵相乘（或者逻辑与）来得到。

# Causal mask
causal_mask = torch.triu(torch.ones(input_shape[1], input_shape[1]), diagonal=1).bool().to(input.device)

例如，这句话：Cat is too fat. 会生成如下矩阵(假设窗口无限大)：

Cat  <PAD> <PAD> <PAD>
Cat    is   <PAD> <PAD>
Cat    is    too   <PAD>