16、连接主义模型中的时间处理与数据结构应用

连接主义模型中的时间处理与数据结构应用

1. 简单同步网络（SSNs）用于自然语言解析

简单同步网络（SSNs）是循环神经网络（RNNs）的扩展，它增加了内部时间的另一种用法，以表示结构成分。与传统RNN不同，SSNs直接表示结构成分，而不是使用间接编码。其核心思想是将每个时间段划分为多个阶段，每个阶段与一个唯一的成分相关联。

对于一个包含n个单词的输入句子，句法结构的表示通过在n个阶段的时间序列中展开该结构来实现，其中单元同步表示结构中成分之间的关系，例如父子关系。

SSNs已成功应用于标准自然语言解析问题。以从自然文本语料库中提取的英语句子为例，该模型逐步输出一个层次结构，展示单词如何组合形成成分，即输入句子的解析树。

以下是SSNs相对于RNN的特点对比：
| 网络类型 | 表示方式 | 处理时间方式 | 应用场景 |
| ---- | ---- | ---- | ---- |
| RNN | 间接编码结构成分 | 处理时间序列 | 一般序列处理 |
| SSN | 直接表示结构成分 | 增加内部时间用法 | 自然语言解析 |

2. 从时间到结构化数据类型的扩展

学习顺序信息是动态数据类型自适应计算的第一步。RNN旨在展现动态行为以融入时间，处理时间序列。从结构角度看，在时间间隔上定义的任何实值变量的离散序列都可视为列表，这是最简单的动态数据类型。因此，RNN是列表处理甚至更结构化数据类型的理想选择。

早期在这方面的研究由Pollack于1990年开展，他引入了RAAM模型，该模型能够处理叶子带有标签的树。

3. 列表处理