27、循环神经网络：架构、原理与基础模型详解

循环神经网络：架构、原理与基础模型详解

1. 前馈连接概述

前馈连接是神经网络中常见的连接方式，它可以分为以下几种类型：
- 一对一连接 ：这是最简单的连接形式，即一个节点与另一个节点相连。
- 一对多连接 ：多个节点连接到一个节点。
- 多对多连接 ：当前层的每个节点都与下一层的所有节点相连，形成完全连接。

在多对多连接中，左节点值记为 (x_1, x_2, \cdots, x_d)，右节点值记为 (y_1, y_2, \cdots, y_c)，权重记为 (w_{ji})（其中 (i) 是右节点索引，(j) 是左节点索引）。右节点值通过以下公式计算：
[y_j = F\left(\sum_{i = 1}^{d} w_{ji} \cdot x_i\right)]

这里左下标是目标节点索引的原因是，权重是按照从目标到源的反向进行更新的。

2. 循环连接

循环连接是理解循环神经网络的关键。与前馈连接（从一个节点到另一个节点）不同，循环连接是一个节点连接到自身，当前节点值会作为计算下一个值的输入。在这种连接中，我们会考虑由顺序时间内的节点值组成的时间序列。

2.1 自连接示例

最简单的循环连接示例是自连接，如图所示。一个节点到自身的单个连接与权重 (w) 相关联。前一个节点值记为 (x(t - 1))，当前值记为 (x(t))，它们之间的关系由以下公式表示：
[x(t) = w \cdot x(t - 1)]

2.2