协方差矩阵及其计算方法

最新推荐文章于 2024-10-08 19:36:35 发布

原创最新推荐文章于 2024-10-08 19:36:35 发布 · 2.7w 阅读

111 ·

CC 4.0 BY-SA版权

文章标签：

#协方差 #线性代数

观测矩阵

例：如果观测 $N$ 个人的体重 $w$ 和身高 $h$ ，这样会形成 $R^2$ 的样本空间，观测向量 $X_j$ （ $Xj⊆R2X_j\subseteq R^2$ ）表示第 $j$ 个人体重和身高，观测矩阵可以表示为：

$[w1w1…wNh1h2…hN]\begin{bmatrix}w_1&w_1&\dots &w_N\\h_1&h_2&\dots &h_N \end{bmatrix}$

其中：
$X1=[w1h1]X_1=\begin{bmatrix}w_1\\h_1 \end{bmatrix}$ ， $X2=[w2h2]X_2=\begin{bmatrix}w_2\\h_2 \end{bmatrix}$ ， $XN=[wNhN]X_N=\begin{bmatrix}w_N\\h_N \end{bmatrix}$ ，这些为观测向量。

均值和协方差

假设 $[X1X2…XN][X_1\quad X_2\quad \dots \quad X_N]$ 是 $p×Np\times N$ 的观测矩阵，观测向量 $X_1$ 、 $X_2$ 和 $X_N$ 的样本均值 $M$ 为：

$M=1N(X1+X2+⋯+XN)M=\dfrac{1}{N}(X_1+X_2+\dots +X_N)$

如果将原观测测向量画成散列图（scatter），那么样本均值 $M$ 就是散列图中数据的中心。

令 $X^k=Xk−M\hat{X}_{k}=X_k-M$ ， $k=1,2,…,Nk=1,2,\dots ,N$

则构成新的矩阵 $B=[X^1X^2…X^N]B=[\hat{X}_{1}\quad \hat{X}_{2}\quad \dots \quad \hat{X}_{N}]$ ，此矩阵 $B$ 称为平均偏差形式，且具有零样本均值。矩阵 $B$ 的散列图的中心在坐标原点。

协方差矩阵（covariance matrix）：协方差矩阵是一个 $p×pp\times p$ 的矩阵 $S$ ，且满足： $S=1N−1BBTS=\dfrac{1}{N-1}BB^T$

由于任何具有 $BB^T$ 的矩阵都是半正定的（如果 $B$ 是 $m×nm\times n$ 的矩阵，那么 $BB^T$ 是半正定的），所以 $S$ 也是半正定的。

注：协方差矩阵也常记作 $Σ\Sigma$

例：从一个总体中随机抽取4个样本做3次测量，每个样本的观测向量为：
$X1=[121]X_1=\begin{bmatrix}1\\2\\1 \end{bmatrix}$ ， $X2=[4213]X_2=\begin{bmatrix}4\\2\\13 \end{bmatrix}$ ， $X3=[781]X_3=\begin{bmatrix}7\\8\\1 \end{bmatrix}$ ， $X4=[845]X_4=\begin{bmatrix}8\\4\\5 \end{bmatrix}$ ，
求样本均值及协方差矩阵。

解：

样本均值：

$M=14([121]+[4213]+[781]+[845])=14[201620]=[545]M=\dfrac{1}{4}(\begin{bmatrix}1\\2\\1 \end{bmatrix}+\begin{bmatrix}4\\2\\13 \end{bmatrix}+\begin{bmatrix}7\\8\\1 \end{bmatrix}+\begin{bmatrix}8\\4\\5 \end{bmatrix})=\dfrac{1}{4}\begin{bmatrix}20\\16\\20 \end{bmatrix}=\begin{bmatrix}5\\4\\5 \end{bmatrix}$

从 $X_1$ 、 $X_2$ 和 $X_N$ 中减去样本均值 $M$ 得：

$X1^=[−4−2−4]\hat{X_1}=\begin{bmatrix}-4\\-2\\-4 \end{bmatrix}$ ， $X2^=[−1−28]\hat{X_2}=\begin{bmatrix}-1\\-2\\8 \end{bmatrix}$ ， $X3^=[24−4]\hat{X_3}=\begin{bmatrix}2\\4\\-4 \end{bmatrix}$ ， $X4^=[300]\hat{X_4}=\begin{bmatrix}3\\0\\0 \end{bmatrix}$

所以得到 $B$ 矩阵：

$B=[−4−123−2−240−48−40]B=\begin{bmatrix}-4&-1&2&3\\-2&-2&4&0\\-4&8&-4&0 \end{bmatrix}$

矩阵 $B$ 为原样本经过居中处理后的样本。

所以，样本的协方差矩阵 $S$ 为：

$S=1N−1BBT=14−1[−4−123−2−240−48−40][−4−2−4−1−2824−4300]=13[301801824−240−2496]=[106068−80−832]S=\dfrac{1}{N-1}BB^T=\dfrac{1}{4-1}\begin{bmatrix}-4&-1&2&3\\-2&-2&4&0\\-4&8&-4&0 \end{bmatrix}\begin{bmatrix}-4&-2&-4\\-1&-2&8\\2&4&-4\\3&0&0 \end{bmatrix}=\dfrac{1}{3}\begin{bmatrix}30&18&0\\18&24&-24\\0&-24&96 \end{bmatrix}=\begin{bmatrix}10&6&0\\6&8&-8\\0&-8&32 \end{bmatrix}$

用 $x1,x2,…,xpx_1,x_2,\dots,x_p$ 表示 $X$ 的坐标，例如 $x_1$ 是 $X1,X2,…,XNX_1,X_2,\dots,X_N$ 集合中变化的第一个坐标的数值。对 $j=1,2,…,pj=1,2,\dots,p$ （本例中 $p = 3$ ， $N = 4$ ），矩阵 $S$ 的对角线元素 $s_{jj}$ 就是 $x_j$ 的方差， $x_j$ 的方差用于度量 $x_j$ 值的分散性。
所以本例中， $x_1$ 方差为10， $x_2$ 方差为8， $x_3$ 方差为32。
$x_3$ 方差为32，大于 $x_1$ 方差10，这表明对应向量中第三个元素的集合包含比第一个元素的集合更大的取值范围。

数据的总方差是矩阵 $S$ 对角线上方差的和，也就是 $S$ 的迹（trace） $t r (S)$ 。

矩阵 $S$ 中的元素 $sij(i≠j)s_{ij}(i\ne j)$ 称为 $x_i$ 和 $x_j$ 的协方差。

协方差就是不同维度的数据（减去平均值后，即居中处理后）的点积，再乘以 $1N−1\dfrac{1}{N-1}$ 。
$x_1$ 、 $x_2$ 和 $x_3$ 在本例中是4个样本的三个维度，即 $x1=[−4−123]x_1=[-4\quad -1 \quad 2 \quad 3]$ ， $x2=[−2−240]x_2=[-2\quad -2 \quad 4 \quad 0]$ ， $x3=[−48−40]x_3=[-4\quad 8 \quad -4 \quad 0]$ 。