9、神经网络动力学视角解读

神经网络动力学视角解读

1. 动力学视角概述

在神经网络的研究中，动力学视角将关注点从输入输出活动间的函数关系，转移到网络在较长时间内活动（以及在较小程度上权重）的时间或动态特性。动力学视角的强大之处，很大程度源于对动力学的高级抽象，具体形式如下：
- 极限（t → ∞） ：关注系统随时间趋近无穷时的渐近行为，忽略不具长期影响的瞬态行为。
- 聚合个体单元活动/权重 ：将其聚合成激活向量/权重矩阵。在某些情况下，激活值集合可视为激活状态空间中的一个点，局部动力学可近似为线性动力学。
- 聚合状态空间中的点 ：形成轨迹、轨迹邻域和吸引子。轨迹和轨迹邻域对研究行为稳定性至关重要，而吸引子则决定了许多渐近动力学的特性。
- 聚合动力学系统 ：将相邻的动力学系统聚合，用于研究行为在权重或动力学扰动下的鲁棒性，以及确定某类动力学系统中的典型行为。
- 评估全局状态属性 ：通过定义一个全局状态的函数（如Lyapunov函数），并证明其随时间单调递减，来展示特定动力学系统的渐近收敛性。
- 对具有共同属性的状态向量或权重矩阵求平均 ：例如在统计力学视角下，对与目标记忆状态相似度相同的状态，以及由给定学习规则在不同训练模式选择下产生的权重矩阵求平均。
- 使用高级可观测变量进行降维 ：在实际应用中，通过观察高级变量（如时间序列）来研究包含未知低级变量和动力学方程的系统。

2. 动力学