44、序列到序列模型中的注意力机制与自注意力机制

序列到序列模型中的注意力机制与自注意力机制

1. 注意力机制的效果评估

1.1 损失可视化

绘制带有注意力机制的编码器和解码器的损失图，发现其损失比之前没有注意力机制的模型低了一个数量级，这表明模型表现出了良好的潜力。

fig = sbs_seq_attn.plot_losses()

1.2 预测可视化

通过绘制预测坐标和实际坐标，使用虚线连接预测坐标，实线连接实际坐标，发现新模型的预测效果有了显著提升，没有出现角点重叠的问题，说明模型确实在关注关键信息。

fig = sequence_pred(sbs_seq_attn, full_test, test_directions)

1.3 注意力分数可视化

查看模型的注意力分数（存储在 alphas 属性中），可以了解模型在处理不同序列时关注的重点。以训练集中的第一个序列为例：

inputs = full_train[:1, :2]
out = sbs_seq_attn.predict(inputs)
print(sbs_seq_attn.model.alphas)

输出结果如下：

tensor([[[0.8196, 0.1804],
         [0.7316, 0.2684]