12、神经网络：从简单感知机到多层网络的深入解析

神经网络：从简单感知机到多层网络的深入解析

1. 简单感知机的随机单元

在神经网络的研究中，简单感知机是基础且重要的模型。其中，随机单元是对确定性单元的一种推广。随机单元 $S_i$ 由以下公式决定：
- 概率公式：$Prob(S_i = \pm1) = \frac{1}{2}[1 \pm \tanh(\beta h_i)]$
- 其中，$h_i = \sum_{k} w_{ik}\xi_k$ ，这和之前的定义一致。

由此可得 $\langle S_i \rangle = \tanh(\beta h_i) = \tanh(\beta \sum_{k} w_{ik}\xi_k)$ ，这和之前的某个公式（如 (2.42)）类似。在模拟环境中，我们可以使用这个公式来计算 $\langle S_i \rangle$ ；而在真实的随机网络里，我们需要对 $S_i$ 进行一段时间的平均来得到它，并且根据 $Prob(S_i = \pm1) = \frac{1}{2}[1 \pm \tanh(\beta h_i)]$ 随机更新单元。

之后，我们以 $\langle S_i \rangle$ 为基础进行权重更新：
- 权重变化公式：$\Delta w_{ik} = \eta \xi_k \delta_i$
- 其中，$\delta_i = \langle \xi_i \rangle - \langle S_i \rangle$ 。这其实是基于普通的 delta 规则（如 (5.43)）对单个结果的变化进行平均后的结果。

通常的二次误差衡量公式为 $E = \frac{1}{2} \sum_{i} (\xi_i - S_i)^2$ ，由于