序列模型基础概念

一、公式定义

  在时间$t$观察到$x_t$，那么得到$T$个不独立的随机变量$(x_1,...,x_T)-p(X)$

  由条件概率公式：

$$p(a,b)=p(a)p(b|a)=p(b)p(a|b)$$

  可得序列模型的统计学公式：

$$p(X)=p(x_1)\cdot p(x_2|x_1)\cdot ...p(x_T|x_1,...,x_{T-1})$$

二、序列建模

  序列模型的任务可看作求解$p(x_t|x_1,...,x_{t-1})$，其可以通过对条件概率建模的方法求解，即：

$$p(x_t|x_1,...,x_{t-1})=p(x_t|f(x_1,...,x_{t-1}))$$

  其中 $p(x_t|x_1,...,x_{t-1})$的意思是：在给定前$t-1$个数据的前提下，求第$t$个数据的概率。$p(x_t|f(x_1,...,x_{t-1}))$的意思是：对已有的$t-1$个数据建立一个模型，用这个模型去预测第$t$个数据，也成为自回归模型。

三、建模方法

3.1 马尔科夫方法

  假设当前数据只与$\tau$个过去的数据有关，则:

$$p(x_t|x_1,...,x_{t-1})=p(x_t|f(x_{t-\tau },...,x_{t-1}))=p(x_t|f(x_{t-\tau },...,x_{t-1}))$$

3.2 潜变量方法

  引入潜变量$h_t$来表示过去信息$h_t=f(x_1,...,x_{t-1})$，则$x_t=p(x_t|h_t)$

四、总结

  在时序模型中，当前数据与之前观察到的数据相关；

  在自回归模型中，使用自身过去的数据预测未来的数据。