weixin_42693876的博客

这样做不太灵活（其实就是相对位置编码，需要学习），因为输入的训练数据的句子长度是变化的，如果第一个batch输入的长度是64，第二个batch输入的长度的 66，那么每次相同位置的position encoding的值都不同，所以模型可能会confused。比如一个[17, 64, 512]（17个句子，每个句子被BPE编码成64个tokens，每个tokens的embedding维度为512），可以设置一个[17, 64, 512]的矩阵，其中64个token每个都直接加相应的位置索引。