42、随机神经网络：从理论到应用的深入剖析

随机神经网络：从理论到应用的深入剖析

1. 监督模型与基本概念

在随机神经网络领域，监督模型是重要的研究方向。对于高斯噪声模型，合适的Metropolis接受准则无法通过基本求积进行积分，借助最速下降近似可得到能量景观概念 $\Delta E$。Hinton和Sejnowski将接受准则（方程 (C1.4.4)）解释为每个神经元的能量变化 $\Delta E_i$，用于推导特定的隐藏层权重，从而得出局部接受准则。

基于元胞自动机（CA）的一维光学实现神经网络被开发为柯西机（Cauchy Machine）。不过，直到为柯西密度推导出分布式接受准则后，才实现了局部分布式超大规模集成电路（VLSI）设计。

若将二进制神经元的McCulloch - Pitts模型的总输入 $u_i$ 定义为特定形式，根据Metropolis接受准则，输出 $u_i$ 仅当在区间 $[0, 1]$ 内生成的随机数小于接受函数时局部设置为1，该接受函数为：
$$( 1 / \pi T) \int_{-\infty}^{\infty} dx / [1 + ((x - u_i) / T)^2] = (1/2) + \tan^{-1}(u_i / T(t)) / \pi$$
在退火过程中，冷却时间表的倒数被定义为在正整数时间点 $m$ 的分段常数增益系数 $G_m$，即：
$$G(t_m) = 1 / T(t_m) = G_m$$
此时，输出 $u_i$ 也会在有限范围内波动，其描述为激发率传递函数：
$$v_i = D(u_i) = (1/2) + \tan^{-1}(u_i G_m) / \pi$$
值得注意的是，方程 (C1.4.7) 与标准的Si