1、学习的统计力学：从基础到应用

学习的统计力学：从基础到应用

一、引言

理解智能行为一直是大众和科学家都感兴趣的话题。随着串行计算机计算能力的局限逐渐显现，并行计算在技术和概念上崭露头角；非侵入性扫描技术让我们能从宏观到微观研究人类大脑；社会自动化程度提高对复杂任务控制算法的需求增加；物理学概念的进步拓展了对复杂非线性系统的研究。在这些发展的交汇处，人工神经网络为各个领域带来了新的可能。

二、人工神经网络基础

1. 形式神经元
   • 学习的统计力学主要针对形式神经元网络。形式神经元是人工神经网络的微观构建模块，由McCulloch和Pitts在50多年前提出，是对生物神经元的极度简化模型。
   • 它是双稳态线性阈值元件，状态用二进制变量(S = ±1)表示。神经元(i)的状态(S_i)会随时间变化，取决于通过突触耦合(J_{ij})从“外部世界”或其他神经元(j)接收到的信号。
   • 具体来说，神经元(i)将其他神经元的活动按突触耦合强度加权求和得到突触后电位(\sum_{j} J_{ij} S_j)，并与特定阈值(\theta_i)比较。若突触后电位超过阈值，神经元在下一时刻激活，否则处于被动状态，其状态更新公式为：
     [S_i(t + 1) = \text{sgn}\left(\sum_{j} J_{ij} S_j(t) - \theta_i\right)]
     其中，符号函数(\text{sgn}(x))定义为：当(x > 0)时，(\text{sgn}(x) = 1)；否则(\text{sgn}(x) = -1)。