【动手学深度学习】8.1. 序列模型（个人向笔记）

• 想象一下有人正在看网飞（Netflix，一个国外的视频网站）上的电影。 一名忠实的用户会对每一部电影都给出评价， 毕竟一部好电影需要更多的支持和认可。 然而事实证明，事情并不那么简单。 随着时间的推移，人们对电影的看法会发生很大的变化。如锚定效应，享乐效应等
• 在本质上，音乐、语音、文本和视频都是连续的。 如果它们的序列被我们重排，那么就会失去原有的意义。 比如，一个文本标题“狗咬人”远没有“人咬狗”那么令人惊讶，尽管组成两句话的字完全相同。
• 地震具有很强的相关性，即大地震发生后，很可能会有几次小余震， 这些余震的强度比非大地震后的余震要大得多。 事实上，地震是时空相关的，即余震通常发生在很短的时间跨度和很近的距离内。

---

1. 统计工具

• 处理序列数据需要统计工具和新的深度神经网络架构。我们以下图为例：
  

1.1 自回归模型

• 对于输入的序列，我们需要一个近似方法进行处理，有下面两种方法
  
  

1.2 马尔可夫模型

1.3 因果关系

很明显，未来的事件不能影响过去。因此我们不能改变数据的方向

---

2. 训练

• 我们用正弦函数和一些可加性噪声来生成序列数据
  
  
  
  
• 训练
  
  

---

3. 预测

• 模型预测下一个时间步：可以看到预测不出噪音
  
• 进行多步预测：绿色线，可以看到错的很离谱