【统计学习系列】多元线性回归模型（七）——模型的样本外预测

---

1. 前文回顾

在上一篇文章中，我们讨论了如何对拟合的模型质量进行评判。（详情请见：【统计学习系列】多元线性回归模型（六）——模型拟合质量评判：拟合优度）。

当模型已经被拟合好，并且拟合优度也达到了预期，我们就可以进一步使用这一模型来进行样本外预测啦！在这一篇文章中，我们来看一看如何应用拟合好的模型来进行样本外预测吧~

首先，先给出总体模型的表达式：

$$y_0={\mathbf{x}}_0^T\mathbf{\beta }+{ϵ}_0$$
其中：x₀ 为样本外解释变量的样本值（已给定）；
y₀ 为待预测被解释变量的真值；
β 为模型参数向量；
ϵ₀ ~ N(0, σ²)为模型误差项。

---

2. 样本外点估计

基于OLS回归，我们已经得到了模型参数 β 的估计量 β^：
$$\hat{\mathbf{\beta }}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$
因此，在给定一组新的输入变量（样本外变量）x₀ 的情况下，由模型给出的 y₀ 的预测值 y^₀ 有：
$${\hat{y}}_0={\mathbf{x}}_0^T\hat{\mathbf{\beta }}$$
容易验证，y^₀ 是 E(y₀) 的无偏估计量：

$$E[{\hat{y}}_0]=E[{\mathbf{x}}_0^T\hat{\mathbf{\beta }}]={\mathbf{x}}_0^T\cdot E[\hat{\mathbf{\beta }}]={\mathbf{x}}_0^T\mathbf{\beta }=E[y_0]$$

---

3. 样本外区间估计

若想要得到 y₀ 的区间估计量，我们首先需要知道 y₀ 所满足的分布。从模型的表达式中我们容易看出，y₀ 是误差项 ϵ₀ 的 线性变换（Linear Transmission），因此，在模型假设成立的前提下，y₀ 也应满足正态分布。又因为正态分布由期望和方差两个指标决定，因此我们只需要计算 y₀ 的期望和方差即可得到 y₀ 的分布。

在第二章中，我们已经得到了 y₀ 的期望值，下面就让我们来计算 y₀ 的方差。

$$\text{var}(y_0)=\text{var}({\hat{y}}_0+{ϵ}_0)=\text{var}({\hat{y}}_0)+\text{var}({ϵ}_0)$$

而
$$\text{var}({\hat{y}}_0)=\text{cov}({\mathbf{x}}_0^T\hat{\mathbf{\beta }},{\mathbf{x}}_0^T\hat{\mathbf{\beta }})$$$$={\mathbf{x}}_0^T\text{var}(\hat{\mathbf{\beta }}){\mathbf{x}}_0$$$$=[{\mathbf{x}}_0^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{x}}_0]{\sigma }^2$$

因此，
$$\text{var}(y_0)=[{\mathbf{x}}_0^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{x}}_0+1]{\sigma }^2$$

故：
$$y_0\sim N({\mathbf{x}}_0^T\mathbf{\beta },[{\mathbf{x}}^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}\mathbf{x}+1]{\sigma }^2)$$

然而，由于 y₀ 的期望项是关于总体参数 β 的函数，而 β 未知，因此需要利用样本估计值替代。考虑到 E[y^₀ ] = E[y₀]，因此可以考虑 y₀ - y^₀ 的分布：

$$E[y_0-{\hat{y}}_0]=0$$

而
$$\text{var}(y_0-{\hat{y}}_0)=\text{var}({\mathbf{x}}_0^T\mathbf{\beta }+{ϵ}_0-{\mathbf{x}}_0^T\hat{\mathbf{\beta }})$$$$=\text{var}({ϵ}_0-{\mathbf{x}}_0^T\hat{\mathbf{\beta }})=\text{var}(y_0)$$

至此，我们得到 y₀ - y^₀ 满足：
$$\frac{y_0-{\hat{y}}_0}{\sqrt{1+{\mathbf{x}}^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}\mathbf{x}}\cdot \sigma }\sim N(0,1)$$
而又因为：
$$\frac{(N-p-1){\hat{\sigma }}_{OLS}^2}{{\sigma }^2}\sim {\chi }_{N-p-1}^2$$
请参见：【统计学习系列】多元线性回归模型（三）——参数估计量的性质。

因此，
$$\begin{gathered} \frac{(N-p-1)\cdot (y_0-{\hat{y}}_0)}{\sqrt{1+{\mathbf{x}}^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}\mathbf{x}}\cdot \sigma }÷\frac{(N-p-1){\hat{\sigma }}_{OLS}^2}{{\sigma }^2} \\ =\frac{y_0-{\hat{y}}_0}{\sqrt{1+{\mathbf{x}}^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}\mathbf{x}}\cdot \hat{\sigma }}\sim t_{N-p-1} \end{gathered}$$

定义 y₀ 的标准误（Standard Error, SE）:
$$\text{SE}(y_0)=\sqrt{1+{\mathbf{x}}^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}\mathbf{x}}\cdot \hat{\sigma }$$

在1 - α 的置信水平下，y₀ 有：
P { ∣ y 0 − y ^ 0 SE ( y 0 ) ∣ ≤ t α / 2 , N − p − 1 } P \{ |\frac { y_0 - \hat{y}_{0} }{\text{SE}(y_0) }| \le t_{\alpha/2, N-p-1} \} P{∣SE(y0​)y0​−y^​0​​∣≤tα/2,N−p−1​} = P { ∣ y 0 − y ^ 0 ∣ ≤ t α / 2 , N − p − 1 ⋅ SE ( y 0 ) } = P \{ |y_0 - \hat{y}_{0} | \le t_{\alpha/2, N-p-1} \cdot \text{SE}(y_0) \} =P{∣y0​−y^​0​∣≤tα/2,N−p−1​⋅SE(y0​)} = P { y ^ 0 − t α / 2 , N − p − 1 ⋅ SE ( y 0 ) } ≤ y 0 ≤ y ^ 0 + t α / 2 , N − p − 1 ⋅ SE ( y 0 ) } = P \{ \hat{y}_0 - t_{\alpha/2, N-p-1} \cdot \text{SE}(y_0) \} \le y_0 \le \hat{y}_0 + t_{\alpha/2, N-p-1} \cdot \text{SE}(y_0) \} =P{y^​0​−tα/2,N−p−1​⋅SE(y0​)}≤y0​≤y^​0​+tα/2,N−p−1​⋅SE(y0​)}$$=1-\alpha$$

因此，可以得到 y₀ 的置信度为 1 - α 的区间估计为：
$$[{\hat{y}}_0-t_{\alpha /2,N-p-1}\cdot \hat{\sigma }\sqrt{1+{\mathbf{x}}^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}\mathbf{x}},{\hat{y}}_0+t_{\alpha /2,N-p-1}\cdot \hat{\sigma }\sqrt{1+{\mathbf{x}}^T({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}\mathbf{x}}]$$

---

写在最后

若想查阅本系列全部文章，请参见目录页：系列文章目录索引。

欢迎感兴趣的小伙伴来跟作者一起挑刺儿~ 包括但不限于语言上的、排版上的和内容上的不足和疏漏~ 一起进步呀！
有任何问题，欢迎在本文下方留言，或者将问题发送至勘误邮箱： mikeysun_bugfix@163.com
谢谢大家！