8、模糊前馈、递归神经网络及逻辑导向神经网络的深入解析

模糊前馈、递归神经网络及逻辑导向神经网络的深入解析

1. 神经网络的基本运算表达

在神经网络中，其运算可以用向量形式更紧凑地表达。一般来说，可表示为：
[y^{(l)} = f^{(l)}(w^{(l)}x^{(l)})]
或者仅基于网络激活值表示为：
[y^{(l)} = f^{(l)}(w^{(l)}y^{(l - 1)})]
以三层（输入层、一个隐藏层和输出层）神经网络为例，输入到输出的映射为：
[y = f^{(2)}(w^{(2)}f^{(1)}(w^{(1)}x))]
这里的 (x) 和 (y) 分别是网络的输入和输出向量。

2. 递归神经网络的架构与运算

递归神经网络是一种更为复杂的分层神经网络。对于由感知机神经元组成的第二类递归神经网络，其架构需要额外的参数集 (V) 来存储反馈连接的权重。矩阵 (v^{(l)}) 表示第 (l) 层所有神经元的反馈连接权重，对于 (L) 层递归神经网络（RNN），集合 (V) 包含矩阵 (v^{(1)}, v^{(2)}, \cdots, v^{(L - 1)})，具体形式如下：
[v^{(l)} \triangleq
\begin{bmatrix}
v^{(l)} {1,1} & v^{(l)} {2,1} & \cdots & v^{(l)} {n_l,1} \
v^{(l)} {1,2} & v^{(l)} {2,2} & \cdots & v^{(l)} {n_l,2} \
\vdots &