22、神经网络一瞥：从Hopfield模型到Boltzmann机的深入解析

神经网络一瞥：从Hopfield模型到Boltzmann机的深入解析

1. 引言

神经网络正变得越来越流行，本文将聚焦于特别简单的Hopfield模型及其随机对应物——Boltzmann机。神经网络与许多模型有着密切的关系，甚至一些神经网络是这些模型的特殊情况。然而，特定的术语常常掩盖了这种关系，阻碍了对神经网络相关文献的研究。本文将通过示例展示部分理论可以用随机场的语言来描述，希望能为相关文献的学习铺平道路。同时，采样和退火的极限定理以及最大似然估计的一致性和收敛性结果同样适用。

神经网络源于生物科学，为生物神经系统提供了高度理想化和简化的模型。因此，位点被称为神经元，电位由突触权重表示等。近年来，对神经网络的兴趣在很大程度上基于其在数据处理任务中的潜在应用，且无需参考最初启发这些模型的生物系统。此外，统计物理学的思想也越来越多地渗透到该理论中。

2. Boltzmann机

Boltzmann机是一种特殊的随机场，理解它需要将概率神经网络的陈述转化为随机场的语言。下面将详细介绍其相关概念和特性。
- 模型基础
- 神经元状态 ：存在一个有限索引集S，S中的位点s被称为单元或神经元，每个单元可以处于两种状态之一，通常为0或1（也有理由偏好±1）。状态为0表示“关闭”或“不活跃”，状态为1表示“开启”、“活跃”或“激发”。
- 邻域系统和权重 ：S上有一个邻域系统α，对于每对相邻的神经元{s, t}，有一个权重Vst，称为突触权重或连接强度，要求满足对称性条件Vst = Vts。此外，部分神经元还有权重Vs。为简化符