26、统计力学在神经网络中的应用与原理

统计力学在神经网络中的应用与原理

1. 自由能与熵的基础概念

在统计力学的研究范畴中，自由能和熵是两个极为关键的概念。首先，我们来看配分函数 (Z) 的表达式：
[Z = \text{Tr} s \exp \left( \sum {ij} W_{ij} S_i S_j + \beta \sum_i h_i S_i \right)]
这里的 ( \beta = 1/T)，对所有状态求和被称为求迹。而单元 (i) 的平均激活值 (\langle S_i \rangle) 可由下式给出：
[\langle S_i \rangle = \frac{\sum_{s} S_i \exp \left( \sum_{ij} W_{ij} S_i S_j + \beta \sum_i h_i S_i \right)}{\sum_{s} \exp \left( \sum_{ij} W_{ij} S_i S_j + \beta \sum_i h_i S_i \right)}]
乍一看，计算这个平均值似乎需要进行两次求迹，但如果我们将 (Z) 视为 (h_i) 的函数，那么 (\langle S_i \rangle) 可以通过求导得到：
[\langle S_i \rangle = T \frac{\partial \log Z}{\partial h_i}]
为了更方便地计算各种平均值，我们引入自由能 (F) 的定义：
[F = -T \log Z]
基于自由能，(\langle S_i \rangle) 的表达式可简化为：
[\langle S_i \rangle = - \frac{\partial F}{\partial h