30、多元离群值检测与稳健性方法解析

多元离群值检测与稳健性方法解析

1. 多元回归

1.1 多元回归模型

多元回归模型可将回归模型扩展到有多个响应变量的情况。对于 $p$ 维预测变量 $\mathbf{x} i = (\mathbf{x} {i1}, \ldots, \mathbf{x} {ip})’$ 和 $q$ 维响应变量 $\mathbf{y}_i = (\mathbf{y} {i1}, \ldots, \mathbf{y} {iq})’$，多元回归模型为：
$\mathbf{y}_i = \mathbf{B}’\mathbf{x}_i + \mathbf{\alpha} + \mathbf{\varepsilon}$
其中，$\mathbf{B}$ 是 $p \times q$ 的斜率矩阵，$\mathbf{\alpha}$ 是 $q$ 维截距向量，误差 $\mathbf{\varepsilon} = (\mathbf{\varepsilon}_1, \ldots, \mathbf{\varepsilon}_q)’$ 是独立同分布的，均值为零，协方差矩阵 $\text{Cov}(\mathbf{\varepsilon}) = \mathbf{\Sigma} {\mathbf{\varepsilon}}$ 是 $q$ 阶正定矩阵。当 $q = 1$ 时，得到上一节的多元回归模型；当 $p = 1$ 且 $\mathbf{x}_i = 1$ 时，得到多元位置和散布模型。

最小二乘解可表示为：
$\hat{\mathbf{B}} = \hat{\mathbf{\Sigma}} {\mathbf{xx}}^