2、序列学习：模型、应用与挑战

序列学习：模型、应用与挑战

序列学习模型的特征

序列学习存在多种模型，这些模型在适用领域、侧重点和学习算法上差异显著。我们可以从以下几个主要维度对它们进行刻画：
1. 学习范式 ：包括监督学习、无监督学习、基于强化的学习或基于知识的学习。
2. 实现范式 ：是否使用神经网络、符号规则或查找表进行实现。
3. 世界的性质 ：是概率性的还是确定性的（从确定下一个元素的角度来看）。
4. 马尔可夫性 ：世界是否是马尔可夫的或非马尔可夫的。
5. 任务类型 ：是闭环任务还是开环任务。
6. 动作参与 ：是否涉及动作。
7. 动作策略 ：动作策略是确定性的还是随机的（在选择动作时）。
8. 适用领域 ：例如市场代理、语音和语言处理、导航学习或运动序列学习等。

下面我们简要回顾和比较几种主要的序列学习方法：
| 方法 | 特点 | 优点 | 缺点 |
| — | — | — | — |
| 递归神经网络 | 通常使用隐藏节点作为记忆，代表之前遇到的子序列的浓缩记录，广泛用于序列预测和生成 | 能处理序列数据 | 需要监督学习，可能不适用于典型的顺序决策学习场景 |
| 时间差分方法 | 有评估函数和/或动作策略，根据评估函数选择动作，根据时间差分修改评估函数和动作策略 | 可用于顺序决策和序列预