10、复杂序列顺序学习的预测模型解析

复杂序列顺序学习的预测模型解析

1. 顺序学习中的干扰与训练情况

在顺序学习过程中，当学习新序列时，会存在上下文检测器受干扰的情况。随着顺序记忆量增大，上下文检测器数量也会增多，但受新序列学习影响而被干扰的检测器数量，主要与新序列本身相关，而非顺序记忆的大小。

与依赖容量的增量学习不同，灾难性干扰在学习新项时需要对整个记忆进行同时再训练。若记忆规模较大，这种再训练成本可能高得难以承受。例如，Ruiz de Angulo和Torras在1995年对多层感知器的顺序学习研究中发现，他们的模型虽能顺序学习几个最近的模式，但似乎无法支持大规模记忆。再训练次数的高度变化是由存储序列之间的重叠导致的，对于长重叠子序列，可能需要多次扫描来解决重叠引起的干扰。

另外，顺序训练轮数增加时，完整序列的数量大致呈线性增长，但每一轮之间仍存在较大差异。这是因为干扰源于新序列与存储序列的重叠，随着记忆扩展，与新序列重叠的记忆项相对减少。

以第96轮的再训练过程为例，模型学习表1中的S96后，最初只有S14被干扰。对S14再训练后，S96又被干扰，这完成了第96轮的第一个再训练周期。第二个周期中，S71被发现受干扰，之后S71和S96的再训练交替进行了三个周期。注意到S71（“OPTIMIZATION I”）和S96（“OPTIMIZATION IV”）有很大的重叠。到第6个周期，又有几个序列被干扰，依次再训练后，前96个序列都成功学习。

为了考察检测器共享情况，将预测模型中的检测器使用情况与不同组件不共享检测器的情况进行对比。不共享检测器时，获取97个序列需要的检测器数量为$\sum_{i=1}^{97}(|S_i| - 1)$，即2520个；而预测模型仅需1088