5、神经网络建模与伪热力学活动解析

神经网络建模与伪热力学活动解析

神经网络中的记忆模型

神经网络中的记忆可分为短期记忆和长期记忆。短期记忆是一种短暂的活动，如果持续时间足够长，就会形成长期记忆。短期记忆对应于模块化网络中的输入激发，通过回路中的脉冲回响来存储，就像一个循环中的信号不断回荡。而当短期记忆使网络的阈值从I降至0时，网络就具备了长期记忆，即使回响消失，记忆也能得以保留。

记忆概念涉及利用存储介质的存储机制，相关操作被称为记忆功能，它与神经网络和/或生物系统的其他功能协同工作。通过与其他信息关联来存储和回忆信息，是神经网络“集体”计算的最基本应用。如果信息存储设备允许在仅了解部分内容而不知存储位置的情况下回忆信息，那么它就是联想记忆，这体现了一种按内容寻址的记忆方式。

记忆模型的特点由记忆功能的物理或构成方面以及存储机制的信息处理能力决定。神经元（或一组神经元）中的突触活动和状态转换，无论是短暂的还是持久的，都构成了一组数据或神经信号的时空模式，这些模式在短期或长期基础上形成了可寻址的记忆，可被称为特征图。在相互连接的神经元集合中，相关的时间响应在空间上的扩散代表了一种响应模式或记忆分布。

与这个记忆单元相关的有写入和读取阶段。写入阶段是将一组信息数据（或功能）存储起来，而读取阶段则是检索这些数据。数据的存储隐含着网络获得的训练和学习经验，即神经网络会自适应地更新表征连接强度的突触权重。更新遵循一组信息训练规则，将实际输出值与新的教师值进行比较，如果存在差异，则在最小二乘误差的基础上进行最小化。通过最小化相关的能量函数来对突触权重进行优化。

检索阶段采用非线性策略来检索存储的模式。从数学上讲，这是一个基于一组动力学方程的单步或多步迭代过程，其解对应于代表所需检索输出