6、神经网络模型扩展：从相关模式到连续值单元的探索

神经网络模型扩展：从相关模式到连续值单元的探索

1. 非对称全连接模型与单极连接

在有限的情况下，非对称全连接模型与对称模型有所不同。非对称全连接模型在任何温度 (T > 0) 时都不存在虚假的自旋玻璃态，不过在存储模式的检索方面，它与对称模型在本质上并无差异。随机的非对称性或许能通过消除自旋玻璃态来提升性能，但同时也会引入一些波动，减缓向吸引子的趋近速度。

在某些应用场景中，要求连接权重既有正值又有负值可能不太方便，特别是在电子或光学硬件中实现网络时。不过，我们可以轻松地修改设计，使所有权重都为正值，即将双极连接替换为单极连接。具体做法是，给每个连接加上一个常数 (k)，即 (w_{ij} = \cdots)（公式 3.15），并在每个单元的输入 (h_i) 中添加一个额外项 (-k \sum_{j} S_j) 来进行补偿。这样，总输入 (h_i) 就变为 (h_i = \cdots)（公式 3.16），与之前完全相同，对网络行为没有整体影响。我们选择足够大的 (k)，以使所有的 (w_{ij}) 为正（或可能为零）。对于常见的赫布规则（2.9），(k = 1) 就足够了。这个补偿项 (-k \sum_{j} S_j) 对所有单元都相同，可以由一个额外的单元来计算，它有时也被称为自适应阈值，因为实际上它会根据总活动 (\sum_{j} S_j) 改变每个单元的阈值。

2. 相关模式与伪逆方法

相关模式中的串扰项限制了网络容量，当不同模式相关时，这种重叠问题更为严重，标准网络可能无法可靠地回忆模式。不过，有一种通用的解决方案——伪逆方法，它适用于任何一组 (p < N) 的线性独立模式。

首先，定义 (p \times p)