19、多元模型与状态空间模型的深入解析

多元模型与状态空间模型的深入解析

1. 多元模型概述

在时间序列分析中，多元模型是一个重要的研究领域。我们先从一些基本的概念和检验方法入手。

1.1 单位根与协整检验

在分析时间序列时，常常需要判断序列是否存在单位根以及是否协整。例如，通过 adf.test （Dickey - Fuller 检验）和 pp.test （Phillips - Perron 检验）可以进行单位根检验，而 po.test （Phillips - Ouliaris 协整检验）则用于检验序列是否协整。

以下是一个简单示例：

# 假设 x 和 y 是时间序列数据
cbind(x, y)
# 进行 Phillips - Ouliaris 协整检验
po.test(cbind(x, y))

在示例中，若 po.test 的 p 值小于某个显著水平（如 0.01），则拒绝原假设，表明序列是协整的。

1.2 汇率序列分析

以英国英镑和欧元汇率序列为例，通过 po.test 检验发现序列存在协整关系，这为使用回归模型提供了依据。之后，对回归模型的残差拟合 ARIMA 模型。

# 假设 xrates 是包含 UK 和 EU 汇率数据的数据框
po.test(cbind(xrates$UK, xrates$EU))
ukeu.lm <- lm(xrates$UK ~ xrates$EU)
ukeu.res <- resid(ukeu.lm)
ukeu.res.ar <- ar(ukeu.res)
ukeu.res.ar$order
AIC(arima(ukeu.res, order = c(3, 0, 0)))
AIC(arima(ukeu.res, order = c(2, 0, 0)))
AIC(arima(ukeu.res, order = c(1, 0, 0)))
AIC(arima(ukeu.res, order = c(1, 1, 0)))

比较不同 ARIMA 模型的 AIC 值，发现 AR(2) 和 AR(3) 模型的 AIC 差异较小，且 AR 模型对残差序列的拟合效果优于 ARIMA(1, 1, 0) 模型，这表明残差序列可视为平稳序列，支持了协整检验的结果。

1.3 二元和多元白噪声

• 二元白噪声定义 ：两个序列 ${w_{x,t}}$ 和 ${w_{y,t}}$ 若满足平稳性且其互协方差 $\gamma_{xy}(k) = Cov(w_{x,t}, w_{y,t + k})$ 对于所有 $k \neq 0$ 都满足 $\gamma_{xx}(k) = \gamma_{yy}(k) = \gamma_{xy}(k) = 0$，则它们是二元白噪声。其中，$\gamma_{xx}(0) = \gamma_{yy}(0) = 1$，$\gamma_{xy}(0)$ 可以为零或非零。
• 多元白噪声定义 ：对于多个序列 ${w_{1,t}}, {w_{2,t}}, \cdots, {w_{n,t}}$，若每个序列都是白噪声，且对于任意两个不同的序列 $(i \neq j)$，$\gamma_{ij}(k) = 0$ 对于所有 $k \neq 0$ 成立，则这些序列是多元白噪声。

可以使用 rmvnorm 函数模拟多元高斯白噪声：

library(mvtnorm)
cov.mat <- matrix(c(1, 0.8, 0.8, 1), nr = 2)
w <- rmvnorm(1000, sigma = cov.mat)
cov(w)
wx <- w[, 1]
wy <- w[, 2]
ccf(wx, wy, main = "")

ccf 函数验证了模拟的二元高斯白噪声在非零滞后处的互相关近似为零。

二元或多元白噪声的一个简单应用是预白化方法。具体步骤如下：
1. 对多个时间序列变量分别拟合 SARIMA 模型，使拟合模型的残差表现为多元白噪声的实现。
2. 使用 SARIMA 模型预测每个时间序列变量的期望值。
3. 通过向预测值添加多元白噪声项来生成多元模拟。

这个方法适用于多个时间序列没有共同随机趋势且互相关结构仅限于误差过程的情况。

1.4 向量自回归模型（VAR）

两个时间序列 ${x_t}$ 和 ${y_t}$ 遵循一阶向量自回归过程（VAR(1)）的定义为：
$$
\begin{cases}
x_t = \theta_{11}x_{t - 1} + \theta_{12}y_{t - 1} + w_{x,t}\
y_t = \theta_{21}x_{t - 1} + \theta_{22}y_{t - 1} + w_{y,t}
\end{cases}
$$
其中，${w_{x,t}}$ 和 ${w_{y,t}}$ 是二元白噪声，$\theta_{ij}$ 是模型参数。若白噪声序列的均值为 0 且过程是平稳的，则两个时间序列的均值也为 0。

VAR(1) 过程可以用矩阵表示为：
$$
Z_t = \Theta Z_{t - 1} + w_t
$$
其中，$Z_t = \begin{pmatrix}x_t\y_t\end{pmatrix}$，$\Theta = \begin{pmatrix}\theta_{11} & \theta_{12}\\theta_{21} & \theta_{22}\end{pmatrix}$，$w_t = \begin{pmatrix}w_{x,t}\w_{y,t}\end{pmatrix}$。

使用 ar 函数可以基于最小 AIC 选择最佳的 VAR 模型阶数。以下是一个模拟 VAR(1) 过程并估计参数的示例：

# 模拟二元白噪声
library(mvtnorm)
cov.mat <- matrix(c(1, 0.8, 0.8, 1), nr = 2)
w <- rmvnorm(1000, sigma = cov.mat)
wx <- w[, 1]
wy <- w[, 2]

# 模拟 VAR(1) 过程
x <- y <- rep(0, 1000)
x[1] <- wx[1]
y[1] <- wy[1]
for (i in 2:1000) {
  x[i] <- 0.4 * x[i - 1] + 0.3 * y[i - 1] + wx[i]
  y[i] <- 0.2 * x[i - 1] + 0.1 * y[i - 1] + wy[i]
}

# 估计 VAR 模型参数
xy.ar <- ar(cbind(x, y))
xy.ar$ar[, , ]

通过多次模拟不同的二元白噪声实现，可以近似模型参数估计量的抽样分布，进而构建参数的自助置信区间。

1.5 VAR 模型拟合美国经济序列

使用美国季度经济序列（1954 - 1987）中的国民生产总值（GNP）和实际货币供应量（M1）数据进行 VAR 模型拟合。

library(tseries)
data(USeconomic)
US.ar <- ar(cbind(GNP, M1), method = "ols", dmean = T, intercept = F)
US.ar$ar
# 绘制残差自相关图
acf(US.ar$res[-c(1:3), 1])
acf(US.ar$res[-c(1:3), 2])

从代码中可以看出，最佳拟合的 VAR 模型阶数为 3。通过计算特征方程的根来检验模型的平稳性：

# 计算特征方程的根
Mod(polyroot(c(1, -2.859, 2.547, -0.3232, -0.5265, 0.1424, 0.01999)))

若所有根的绝对值都大于 1，则模型是平稳的。

为了获取参数的标准误差，可以使用 vars 包中的 VAR 函数：

library(vars)
US.var <- VAR(cbind(GNP, M1), p = 3, type = "trend")
coef(US.var)

去除不显著的参数估计后，可以对下一年的数据进行预测：

US.pred <- predict(US.var, n.ahead = 4)
US.pred

将预测值添加到时间序列图中，可以直观地观察预测结果。

2. 状态空间模型

状态空间模型是一种通用的时间序列建模方法，适用于需要参数随时间自适应变化的情况。

2.1 状态空间模型的目的

状态空间模型的表述较为通用，涵盖了之前介绍的大部分时间序列模型。在实际应用中，当我们需要参数比 Holt - Winters 模型更快地适应时间变化时，状态空间模型就具有很大的优势。此外，它还能方便地纳入预测变量的时间序列。

2.2 线性状态空间模型

我们采用 Pole 等人（1994）的符号，将状态空间模型称为动态线性模型。

状态空间模型可以用以下方程表示：
$$
\begin{cases}
y_t = F_t’\theta_t + v_t\
\theta_t = G_t\theta_{t - 1} + w_t
\end{cases}
$$
其中，$\theta_0 \sim N(m_0, C_0)$，$v_t \sim N(0, V_t)$，$w_t \sim N(0, W_t)$。$y_t$ 是观测值，$\theta_t$ 是状态向量，$F_t$ 和 $G_t$ 是矩阵，$v_t$ 是测量噪声，$w_t$ 是系统噪声。

在实际应用中，状态空间模型可以推广回归模型，使参数能够随时间变化。例如，房屋建筑公司的销售经理可以使用以下模型来考虑行业销售总体水平（L）和公司自身定价（P）政策对公司房屋销售（S）的影响：
$$
\begin{cases}
S_t = L_t + \beta_tP_t + v_t\
L_t = L_{t - 1} + \Delta L_t\
\beta_t = \beta_{t - 1} + \Delta \beta_t
\end{cases}
$$

以下是状态空间模型的一个简单流程图：

graph LR
    A[初始状态 \(\theta_0\)] --> B[系统噪声 \(w_t\)]
    B --> C[状态转移 \(\theta_t = G_t\theta_{t - 1} + w_t\)]
    C --> D[测量噪声 \(v_t\)]
    D --> E[观测值 \(y_t = F_t'\theta_t + v_t\)]

通过这种方式，我们可以根据观测值 $y_t$ 来推断状态向量 $\theta_t$ 的值，进而对系统进行控制和预测。

综上所述，多元模型和状态空间模型在时间序列分析中都有着重要的应用。多元模型适用于分析多个时间序列之间的关系，而状态空间模型则更侧重于处理参数随时间变化的情况。在实际应用中，我们可以根据具体问题选择合适的模型进行分析和预测。

多元模型与状态空间模型的深入解析

3. 多元模型与状态空间模型的应用案例及拓展

3.1 多元模型应用案例拓展

在前面介绍的基础上，我们进一步探讨多元模型在不同场景下的应用。以股票市场数据为例，我们可以使用多元模型来分析不同城市股票市场之间的关系。

假设我们有包含七个城市股票市场数据的文件 stockmarket.dat ，我们可以按照以下步骤进行分析：
1. 数据导入与单位根检验 ：

# 导入数据
data <- read.table("stockmarket.dat", header = TRUE)
# 提取伦敦和纽约的股票市场数据
london <- data$Lond
new_york <- data$NY
# 进行单位根检验
library(tseries)
adf.test(london)
adf.test(new_york)

通过单位根检验，我们可以判断伦敦和纽约的股票市场序列是否平稳。如果 p 值小于显著水平（如 0.05），则拒绝原假设，认为序列是平稳的；否则，序列可能存在单位根，是非平稳的。

2. VAR(1) 模型拟合 ：

# 拟合 VAR(1) 模型
model <- ar(cbind(london, new_york), method = "ols", dmean = T, intercept = F)
model$ar

通过拟合 VAR(1) 模型，我们可以得到模型的参数估计值，从而分析伦敦和纽约股票市场之间的相互影响关系。

3. 协整检验 ：

# 进行协整检验
library(urca)
po.test(cbind(london, new_york))

协整检验可以帮助我们判断伦敦和纽约股票市场序列之间是否存在长期的均衡关系。如果 p 值小于显著水平，则拒绝原假设，认为序列是协整的。

4. 简单回归模型拟合 ：

# 拟合简单回归模型
reg_model <- lm(london ~ new_york)
summary(reg_model)
# 检验残差序列的单位根
residuals <- resid(reg_model)
adf.test(residuals)

通过拟合简单回归模型，我们可以进一步分析纽约股票市场对伦敦股票市场的影响。同时，检验残差序列的单位根可以验证模型的有效性。

3.2 状态空间模型应用案例拓展

状态空间模型在经济时间序列分析中有着广泛的应用。以加拿大经济数据为例，我们可以使用状态空间模型进行预测。

# 加载数据
library(vars)
data(Canada)
# 拟合多元 VAR 模型
canada_var <- VAR(Canada, p = 3, type = "trend")
# 进行预测
canada_pred <- predict(canada_var, n.ahead = 4)
canada_pred
# 将预测值添加到时间序列图中
library(forecast)
autoplot(Canada) + autolayer(canada_pred$fcst, series = "Forecast")

通过以上步骤，我们可以使用状态空间模型对加拿大的经济数据进行预测，并将预测结果可视化展示。

4. 模型选择与评估

在实际应用中，我们需要选择合适的模型进行分析和预测。以下是一些模型选择和评估的方法：

4.1 信息准则

信息准则是一种常用的模型选择方法，常见的信息准则包括 AIC（Akaike Information Criterion）和 BIC（Bayesian Information Criterion）。

信息准则	公式	特点
AIC	$AIC = -2\ln(L) + 2k$	倾向于选择参数较多的模型，对样本量的变化不太敏感
BIC	$BIC = -2\ln(L) + k\ln(n)$	倾向于选择参数较少的模型，对样本量的变化较为敏感

其中，$L$ 是模型的似然函数值，$k$ 是模型的参数个数，$n$ 是样本量。

我们可以通过比较不同模型的信息准则值来选择最优模型。信息准则值越小，说明模型的拟合效果越好。

4.2 残差分析

残差分析是评估模型拟合效果的重要方法。我们可以通过绘制残差的自相关图和偏自相关图来检查残差是否存在自相关性。如果残差序列存在自相关性，说明模型可能存在遗漏变量或模型设定错误的问题。

# 以美国经济数据的 VAR 模型为例
library(tseries)
data(USeconomic)
US.ar <- ar(cbind(GNP, M1), method = "ols", dmean = T, intercept = F)
# 绘制残差自相关图
acf(US.ar$res[-c(1:3), 1])
acf(US.ar$res[-c(1:3), 2])

通过观察残差自相关图，我们可以判断模型的拟合效果是否良好。如果自相关图中的大部分自相关系数都在置信区间内，则说明残差序列近似为白噪声，模型的拟合效果较好。

5. 总结与展望

5.1 总结

本文详细介绍了多元模型和状态空间模型的基本概念、理论和应用。多元模型包括单位根检验、协整检验、二元和多元白噪声、向量自回归模型（VAR）等，适用于分析多个时间序列之间的关系。状态空间模型则是一种通用的时间序列建模方法，适用于处理参数随时间变化的情况。

通过实际案例的分析，我们展示了如何使用多元模型和状态空间模型进行数据分析和预测。同时，我们还介绍了模型选择和评估的方法，如信息准则和残差分析，帮助我们选择最优模型。

5.2 展望

随着时间序列分析技术的不断发展，多元模型和状态空间模型在更多领域的应用将会越来越广泛。未来的研究可以进一步探索以下方向：
- 模型的改进与拓展 ：研究如何改进现有的多元模型和状态空间模型，以更好地处理复杂的时间序列数据。
- 多源数据融合 ：将多元模型和状态空间模型与其他数据源（如文本数据、图像数据等）相结合，提高模型的预测能力和解释能力。
- 实时预测与监控 ：开发实时预测和监控系统，利用多元模型和状态空间模型对时间序列数据进行实时分析和预警。

总之，多元模型和状态空间模型在时间序列分析中具有重要的地位和应用前景。通过不断地学习和实践，我们可以更好地掌握这些模型的原理和应用方法，为实际问题的解决提供有力的支持。