41、无监督学习中的自回归模型与扩散模型

无监督学习中的自回归模型与扩散模型

1. 自回归模型

自回归模型是处理满足自回归特性且随时间变化的时间序列问题的重要工具。下面我们将详细介绍 k 阶自回归模型和深度自回归模型。
- k 阶自回归模型
- 自回归特性定义 ：给定一组随时间 t 变化的变量 ${x_1, x_2, \ldots, x_t}$，若变量 $x_t$ 线性依赖于其部分或全部先前变量 ${x_1, x_2, \ldots, x_{t - 1}}$，则称其具有自回归特性。
- k 阶自回归模型定义 ：k 阶自回归模型 $AR(k)$ 是具有自回归特性的统计模型，定义如下：
[x_t = \sum_{i = 1}^{k} \phi_i x_{t - i} + \epsilon_t]
其中，$\phi_1, \ldots, \phi_k$ 是模型的参数，$\epsilon_t$ 是白噪声。
- k 值对结果的影响 ：
- 当 $k = 0$ 时，$x_t$ 等于白噪声 $\epsilon_t$。
- 当 $k = 1$ 时，$x_t$ 仅与前一时刻的变量 $x_{t - 1}$ 相关。
- 当 $k = t$ 时，$x_t$ 与所有先前变量 ${x_1, x_2, \ldots, x_{t - 1}}$ 相关。
- 与线性回归的区别 ：线性回归是基于 $x_t$ 预测 $y_t$，而自回归是基于先前变量预测 $x_t$ 本身，这也是“自回归（autoregressive