6、神经网络建模：从高斯机到玻尔兹曼机的深入解析

神经网络建模：从高斯机到玻尔兹曼机的深入解析

1. 高斯机

高斯机是由Akiyama等人提出的一种神经元的机器表示。它具有类似Hopfield机的分级响应，同时又像玻尔兹曼机一样具有随机行为。其输出受每个输入添加的随机噪声影响，从而形成概率分布。相关的机器参数能让系统逃离局部最小值。

高斯机的特性源于添加到神经输入的随机噪声的正态分布，机器参数由$S_m(a_0, T, \Delta t)$指定。之前讨论的其他三种机器是高斯机的特殊情况，如图4.2所示的系统参数空间所描绘。

2. 模拟退火与能量函数

平衡统计的概念源于统计物理学原理。统计物理学中关于多粒子系统的一个基本假设是遍历性假设，它用于确定物理系统在热平衡时观测值的平均值。在热平衡条件下，可归因于物理系统的物理量包括平均能量、能量扩散和熵。

在热平衡时，吉布斯指出，如果系综是静止的（即达到平衡），其密度是系统能量的函数。应用等概率原理，系统处于能量为$E_i$的状态$i$的概率由吉布斯或玻尔兹曼分布给出。

在模拟退火过程中，全局状态的概率由其能量水平决定。为了搜索全局最小值，可通过关联一个最终达到最小值的能量函数来确保网络的稳定性。将这个能量函数指定为李雅普诺夫函数，在递归网络中可表示为：
[E = ( -1/2) \sum_{i}\sum_{j} w_{ij} o_{i}o_{j} - \sum_{j} x_{j}o_{j} + \sum_{j} V_{Tj} o_{j}]
其中，$E$是人工网络能量函数（李雅普诺夫函数），$w_{ij}$是从神经元$i$的输出到神经元$j$的输入的权重，$o_{j}$是神经元$j$的输出，$x_{j}$