25、神经网络中的Gardner连接理论与统计力学应用

神经网络中的Gardner连接理论与统计力学应用

1. Gardner理论概述

Gardner在1987 - 1988年对简单感知机的容量进行了计算，这是神经网络中经典的统计力学成果。该计算同样适用于允许连接不对称的类Hopfield自联想记忆递归网络。此理论具有很强的通用性，不针对特定的连接确定算法，但它仅告知存在实现特定输入 - 输出功能的连接集，却不提供具体的连接。

其基本思想是考虑实现特定输入 - 输出功能的权重空间的比例，权重空间即所有可能连接权重 $w = {w_{ij}}$ 的空间。与之前相对简单的计算权重空间体积的方法不同，Gardner的方法更为复杂，但往往更强大，会运用到诸如复制法、辅助变量和鞍点法等技术。

2. 简单感知机的分析

2.1 感知机模型

考虑一个具有 $N$ 个二进制输入 $\xi_j = \pm1$ 和 $M$ 个二进制阈值单元的简单感知机，其输出为：
$O_i = \text{sgn}(\sum_{j} w_{ij}\xi_j)$

给定一组期望的关联 $\mu = 1, 2, \cdots, p$，我们关注在权重空间的多大比例中满足：
$\zeta_{\mu i} = \text{sgn}(\sum_{j} w_{ij}\xi_{j}^{\mu})$

或者等价地，满足：
$\zeta_{\mu i}\sum_{j} w_{ij}\xi_{j}^{\mu} > 0$

若加强条件，引入裕度 $k > 0$，则变为：
$\zeta_{\mu i}\sum_{j} w_{ij}\xi_{j}^