5、神经网络：分层与递归网络的深入剖析

神经网络：分层与递归网络的深入剖析

1. 分层网络相关问题探讨

1.1 分层网络训练特性

分层网络在发现训练示例的底层规则之前，会在一个被称为“平台期”的过渡阶段花费大量时间，在此期间误差 E 变化不大。

1.2 相关练习题分析

1.2.1 基本逻辑运算与模型神经元

考虑任务 (f : {0, 1}^3 \to {0, 1})，其定义为：
[
f (x_1, x_2, x_3) =
\begin{cases}
1, & \text{if } (x_1, x_2, x_3) = (1, 0, 1) \
1, & \text{if } (x_1, x_2, x_3) = (1, 1, 1) \
0, & \text{otherwise}
\end{cases}
]
通过几何考虑或其他方法，可以证明该函数 (f) 能由单个 McCulloch–Pitts 神经元实现，并需给出合适的突触权重和阈值。当考虑高阶突触时，McCulloch–Pitts 神经元的操作会变得更复杂：
[
S(x) = \theta \left( \sum_{k} J_kx_k + \sum_{k,\ell} \hat{J} {k\ell}x_kx \ell - U \right)
]
此时探讨能否用这样的单个神经元实现异或（XOR）操作，即 ((x_1, x_2) \to \text{XOR}(x_1, x_2))，其中 ((x_1, x_2) \in {0, 1}^2)，而普通 McCu