39、循环神经网络：GRU与LSTM的深入解析

循环神经网络：GRU与LSTM的深入解析

1. 模型评估与可视化

1.1 模型准确率

首先，我们得到了如下输出：

Output
tensor([[53, 53],
        [75, 75]])

这表明模型达到了100%的准确率。接下来，我们尝试可视化GRU架构对隐藏状态分类的影响。

1.2 隐藏状态可视化

当我们将“完美”正方形作为输入，输入到新训练的模型中时，会得到八个序列各自的最终隐藏状态。通过与之前的模型并排绘制，能更方便地进行比较。

GRU模型在序列分离方面比RNN模型表现更好。随着看到更多的数据点，GRU和RNN一样，序列分离效果会越来越好。有趣的是，存在四个不同的序列组，每个组对应一个起始角。

1.3 门控隐藏状态的变化

我们使用“完美”正方形的ABCD序列来跟踪隐藏状态的变化。初始隐藏状态默认为(0, 0)，用黑色表示。每次新的数据点（角）用于计算时，受影响的隐藏状态会相应地改变颜色（依次为灰色、绿色、蓝色和红色）。

在GRU内部执行的每个操作中，第一列是给定步骤中GRU单元的输入隐藏状态；第三列、第六列和最后一列对应GRU执行的新操作。第三列显示门控隐藏状态；第六列显示门控（候选）隐藏状态；最后一列显示旧隐藏状态和候选隐藏状态的加权平均值。

以第三行为例，重置门对特征空间的影响很明显。由于门在每个维度上都有不同的值，每个维度会以不同的方式缩小（因为值总是在0到1之间）。在第三行中，第一个维度乘以0.70，而第