11、汉明和霍普菲尔德网络中的快速计算与贝叶斯信号优化

汉明和霍普菲尔德网络中的快速计算与贝叶斯信号优化

1. 网络连接与计算复杂度

在神经网络的研究中，THN（一种网络类型）和HN（霍普菲尔德网络）的连接特性与计算复杂度是重要的考量因素。将THN输入层大小增加50%，足以完全弥补某些性能差异。HN的WTA网络只需$O(3m)$个连接即可实现，而THN和HN都需要$O(mn)$个连接。这意味着，若要使THN达到与给定HN相同的性能，THN大约需要多50%的连接，但HN的$O(m \ln(mn))$时间复杂度能大幅降低至THN的$O(1)$时间复杂度。这种复杂度的降低在大规模网络计算中具有显著优势，能有效提高计算效率。

2. 霍普菲尔德网络的两次迭代最优信号

2.1 研究背景与动机

已知皮层神经元对于相同的突触输入，会根据其放电历史和调节性递质的影响产生不同的放电模式。基于霍普菲尔德类吸引子神经网络（ANN）的框架，我们受神经元放电的历史依赖性启发，深入研究反馈神经网络的两次迭代性能。我们聚焦于连续的输入/输出信号函数，这些函数控制着神经元的放电速率，例如传统的S型函数。这里的同步瞬时“迭代”可视为在一段短时间内神经元放电速率变化不显著的整体动态抽象。我们分析网络在两次这样的迭代后的性能，这段时间足以让网络内的重要神经信息进行反馈，但又短于网络陷入吸引子所需的时间。研究发现，历史依赖的ANN在两次迭代后的性能与无记忆（历史独立）模型相比足够高，因此对两次迭代的分析具有重要意义。

2.2 最优模拟信号函数

我们致力于寻找计算效率最高的历史依赖神经元信号（放电）函数，并研究其性能。推导出的最优模拟信号函数具有倾斜的S型形式，如图4a所示。这种函数显著提升了性能，无论是与