50、时间序列模型：自回归与潜在线性动态系统详解

时间序列模型：自回归与潜在线性动态系统详解

在时间序列分析领域，自回归模型和潜在线性动态系统是两个重要的概念。它们在金融、语音处理等多个领域都有广泛的应用。下面将详细介绍这些模型的原理、训练方法以及相关的推理技术。

1. 迭代与稳态条件

在系统迭代过程中，加性噪声平均上会提升向量的大小，从而使其在长期内保持稳定。对于一个根据非零加性噪声更新向量 $v_t$ 的系统：
$v_t = Av_{t - 1} + \eta_t$
为了使系统存在稳态，要求矩阵 $A$ 的所有特征值都小于 1。

2. 自回归模型

2.1 模型定义

标量时不变自回归（AR）模型定义为：
$v_t = \sum_{l = 1}^{L} a_lv_{t - l} + \eta_t$，其中 $\eta_t \sim N(\eta_t \mu, \sigma^2)$
这里，$a = (a_1, \cdots, a_L)^T$ 被称为 AR 系数，$\sigma^2$ 被称为创新噪声。该模型基于前 $L$ 个观测值的线性组合来预测未来值。作为一个信念网络，AR 模型可以写成 $L$ 阶马尔可夫模型：
$p(v_{1:T}) = \prod_{t = 1}^{T} p(v_t|v_{t - 1}, \cdots, v_{t - L})$，其中 $v_i = \varnothing$ 对于 $i \leq 0$
且 $p(v_t|v_{t - 1}, \cdots, v_{t - L}) = N(v_t \sum_{l = 1}^{L} a_lv_{t - l}, \sigma^2)$
引入前 $L$ 个观