9、复杂序列顺序学习的预测模型解析

复杂序列顺序学习的预测模型解析

1. 模型训练基础

在学习序列时，初始要将第一个组件的探测器激活度从 0 提升到 1。若待学序列是简单序列，如 A - B - C - D - E，把所有相关探测器的激活度提升到 1 即可。但对于复杂序列，相关探测器的激活度需进一步提高，直至无匹配错误出现。

训练过程在每个时间步重复进行。当所有序列组件都展示后，整个训练周期（即一次训练扫描）会重复进行。当最后一次训练扫描中没有出现匹配错误时，训练阶段完成。此时，网络能正确预测整个序列的下一个组件。学习阶段的完成可以通过多种方式检测，例如引入一个全局单元，在一次训练扫描中对所有调制器反馈给各自上下文探测器的信息进行求和。若扫描结束时全局单元未激活，则表明训练阶段结束。

2. 分析结果

以下是关于预测模型的几个分析结果，以命题形式呈现：
- 命题 1 ：采用归一化的赫布规则（公式 4），并选择参数 C 满足：
[C > \delta r(r - 1)\frac{1}{6}\left[1 + \frac{\delta + 2}{1 - \delta(r - 1)}\right]]
这会产生一种称为时间掩蔽的特性，即序列 S 的探测器会优先于 S 的右子序列的探测器。也就是说，当序列 S 出现时，识别 S 的探测器会掩盖那些识别 S 右子序列的探测器。此特性类似于科恩和格罗斯伯格（Cohen & Grossberg, 1987）提出的掩蔽场概念，在静态模式识别中，较大的空间模式在激活其对应探测器时优先于较小的模式。不等式（10）告诉我们如何根据 δ 的值选择 C，以确保序列的探测器能掩盖其左子序列的探