27、循环神经网络：原理、架构与基础模型解析

循环神经网络：原理、架构与基础模型解析

1. 前馈连接概述

前馈连接是神经网络中常见的连接方式，主要包括以下几种类型：
- 一对一连接 ：这是最简单的连接形式，即从一个节点连接到另一个节点。
- 一对多连接 ：由多个节点连接到一个节点。
- 多对多连接 ：两层之间的完全连接，当前层的每个节点都与下一层的所有节点相连。

在多对多连接中，左节点值记为 (x_1, x_2, \cdots, x_d)，右节点值记为 (y_1, y_2, \cdots, y_c)，权重记为 (w_{ji})（其中 (i) 是右节点索引，(j) 是左节点索引）。右节点值通过以下公式计算：
[y_j = F\left(\sum_{i = 1}^{d} w_{ji} \cdot x_i\right)]
这里左下标是目标节点索引的原因是权重更新是逆向的，从目标节点到源节点。

2. 循环连接

循环连接对于理解循环神经网络至关重要。与前馈连接不同，循环连接是一个节点连接到自身，当前节点值作为计算下一个值的输入。这种连接考虑了节点值在连续时间上的时间序列。

2.1 简单自连接示例

最简单的循环连接示例是自连接，一个节点与自身的单个连接关联一个权重 (w)。前一个节点值记为 (x(t - 1))，当前值记为 (x(t))，它们的关系为：
[x(t) = w \cdot x(t - 1)]

2.2 多个循环连接示例

假设有 (d) 个节点，分