8、复杂序列顺序学习的预测模型

复杂序列顺序学习的预测模型

1. 引言

人类智能的一个基本方面是处理时间信息的能力。学习和再现时间序列与我们感知和产生身体动作、语言、音乐等能力密切相关。大量的神经网络文献致力于时间模式生成，这些模型通常将时间模式视为离散模式的序列，即时间序列。大多数模型基于带有反向传播训练的多层感知器或霍普菲尔德联想记忆模型。

• 多层感知器模型 ：将时间序列视为连续组件之间的关联集合，并将这些关联作为输入 - 输出转换进行学习。为处理连续组件之外的时间依赖关系，部分输入层用作短期记忆（STM）来记录历史信息。
• 霍普菲尔德联想记忆模型 ：同样将时间序列视为连续组件之间的关联，这些关联存储在包含时间延迟的扩展霍普菲尔德模型中。为处理更长的时间依赖关系，还提出了高阶网络。

1.1 学习复杂序列

上述两类模型的主要问题之一是难以检索复杂的时间序列，因为序列中相同部分可能多次出现。虽然提出的补救措施能在一定程度上缓解问题，但并未完全解决。

• 多层感知器 ：当时间依赖关系增加时，STM 的混合形式会变得越来越模糊。
• 霍普菲尔德模型 ：使用高阶单元处理长距离时间依赖关系需要大量连接，否则会产生歧义。

近年来，也有一些新的模型被提出：
|模型提出者|模型特点|
| ---- | ---- |
|Bradski 等人（1994）|提出的 STM 模型具有近期性和首因效应，