多元随机变量协方差矩阵

主要记录多元随机变量数字特征相关内容。

关键词：多元统计分析

一元随机变量

总体

随机变量Y

总体均值
$\mu =E(Y)=\int yf(y)dy$
总体方差
${\sigma }^2=Var(Y)=E(Y-\mu {)}^2$

样本

随机样本{y1,...,yn}\{y_1, ..., y_n\}{y1​,...,yn​}

样本均值
$\bar{y}=\frac{1}{n}{\sum }_{i=1^n}^n{y}_i$
样本方差
$s^2=\frac{1}{n-1}{\sum }_{i=1^n}^n(y_i-\bar{y}{)}^2$

二元随机变量

总体

随机变量(X, Y)

总体协方差
${\sigma }_{XY}=cov(X,Y)=E[(X-{\mu }_X)(Y-{\mu }_Y)]=E(XY)-{\mu }_X{\mu }_Y$

总体相关系数
${\rho }_{XY}=corr(X,Y)={\sigma }_{XY}/({\sigma }_X{\sigma }_Y)$

说明：
可以理解变量中的 X为身高、Y为体重
根据西瓦兹不等式可得，${\sigma }_{XY}\le {\sigma }_X{\sigma }_Y$
总体相关系数取值范围 $[-1,1]$

样本

二元随机样本 $\{(x_1,y_1),...,(x_n,y_n)\}$

样本协方差
$$s_{xy}=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$$

样本相关系数
$$r_{xy}=s_{xy}/(s_x{s}_y)$$

样本相关取值范围 $[-1,1]$

性质 ${\sigma }_{XY}=0\iff X和Y是不相关/线性独立的$

线性独立不等于独立
特例：如果X和Y服从二元正态分布，那么我们有
${\sigma }_{XY}=0\iff X和Y是独立的$

多元数据特征

现有 $n$ 个样本点，每个样本点包含 $p$ 个变量的观测，则数据集可以表示为 $n\times p$ 矩阵
$$Y=\left(\begin{array}{ccccc}{y}_{11}& ...& y_{1j}& ...& y_{1p}\\ ...& ...& ...& ...& ...\\ y_{i1}& ...& y_{ij}& ...& y_{ip}\\ ...& ...& ...& ...& ...\\ y_{n1}& ...& y_{nj}& ...& y_{np}\end{array}\right)=\left(\begin{array}{c}{y}_1^{\top }\\ ...\\ y_2^{\top }\\ ...\\ y_n^{\top }\end{array}\right)$$

其中 $y_i=(y_{i1},...,y_{ip}{)}^{\top }$ 由 Y 的第 $i$ 行构成，表示第$i$个样本

对于总体
$\mathbf{y}=(Y_1,...,Y_p{)}^{\top }$

这里的 $\mathbf{y}$ 是随机向量

期望（即均值向量）：
$$E(\mathbf{y})=(E(Y_1),...,E(Y_p){)}^{\top }=({\mu }_1,...,{\mu }_p{)}^{\top }=\mathbf{\mu }$$

对于样本
{y1,y2,...,yn}\{ \bm{y_1}, \bm{y_2}, ..., \bm{y_n} \}{y1​,y2​,...,yn​}

均值向量：
$$\bar{\mathbf{y}}=\frac{1}{n}\sum _{i=1}^n{\mathbf{y}}_{\mathbf{i}}=(\overline{y_1},...,\overline{y_p}{)}^{\top }$$

其中 $\overline{y_j}=\frac{1}{n}{\sum }_{i=1}^n{y}_{ij},E(\bar{\mathbf{y}})=\mathbf{\mu }$

协方差矩阵（Covariance matrix）

对总体
随机向量 $\mathbf{y}=(Y_1,...,Y_p{)}^{\top },p\times p$总体协方差矩阵定义为：
$$\begin{array}{rl}\mathbf{\Sigma }& =Cov(\mathbf{y})\\ & =E[(\mathbf{y}-\mathbf{\mu })(\mathbf{y}-\mathbf{\mu }{)}^{\top }]\\ & =\left(\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& ...& {\sigma }_{1p}\\ {\sigma }_{21}& {\sigma }_{22}& ...& {\sigma }_{2p}\\ ...& ...& ...& ...\\ {\sigma }_{p1}& {\sigma }_{p2}& ...& {\sigma }_{pp}\end{array}\right)\end{array}$$

其中，
${\sigma }_{jk}$为 $Y_j$和$Y_k$之间的协方差，${\sigma }_{jj}={\sigma }_j^2$ 为 $Y_j$的方差。

对样本
随机样本 {y1,...,yn},p×p\{ \bm{y_1}, ..., \bm{y_n} \}, p \times p{y1​,...,yn​},p×p 样本协方差矩阵定义为：
$$\begin{array}{rl}\mathbf{S}& =\frac{1}{n-1}\sum _{i=1}^n({\mathbf{y}}_{\mathbf{i}}-\bar{\mathbf{y}})({\mathbf{y}}_{\mathbf{i}}-\bar{\mathbf{y}}{)}^{\top }\\ & =\left(\begin{array}{cccc}{s}_{11}& s_{12}& ...& s_{1p}\\ s_{21}& s_{22}& ...& s_{2p}\\ ...& ...& ...& ...\\ s_{p1}& s_{p2}& ...& s_{pp}\end{array}\right)\end{array}$$

其中，
$s_{jk}=\frac{1}{n-1}{\sum }_{i=1}^n(y_{ij}-\overline{y_j})(y_{kj}-\overline{y_k})$
$s_{jj}=s_j^2=\frac{1}{n-1}{\sum }_{i=1}^n(y_{ij}-\overline{y_j}{)}^2$

性质1 $\mathbf{\Sigma }$和$\mathbf{S}$是对称的
性质2 $\mathbf{S}$是$\mathbf{\Sigma }$的无偏估计，也即$E(\mathbf{S})=\mathbf{\Sigma }$
性质3 $\bar{\mathbf{y}}$ 的协方差矩阵是 $Cov(\bar{\mathbf{y}})=\frac{\mathbf{\Sigma }}{n}$

性质3，对应一维情况是相似的，即样本均值的方差 $Cov(\bar{x})={\sigma }^2/n.$

相关系数矩阵

总体相关系数矩阵
$$\mathbf{P}=({\rho }_{jk})=\left(\begin{array}{cccc}1& {\rho }_{12}& ...& {\rho }_{1p}\\ {\rho }_{21}& 1& ...& {\rho }_{2p}\\ ...& ...& ...& ...\\ {\rho }_{p1}& {\rho }_{p2}& ...& 1\end{array}\right)$$

其中 ${\rho }_{jk}={\sigma }_{jk}/({\sigma }_j{\sigma }_k)$ 为$Y_j$与$Y_k$之间的总体相关系数

样本相关系数矩阵
对随机样本 {y1,...,yn}\{\bm{y_1}, ..., \bm{y_n}\}{y1​,...,yn​}来说，
$$\mathbf{R}=(r_{jk})=\left(\begin{array}{cccc}1& r_{12}& ...& r_{1p}\\ r_{21}& 1& ...& r_{2p}\\ ...& ...& ...& ...\\ r_{p1}& r_{p2}& ...& 1\end{array}\right)$$

其中 $r_{jk}=s_{jk}/\sqrt{s_{jj}{s}_{kk}}=s_{jk}/(s_j{s}_k)$ 为第$j$ 和第$k$ 个变量之间的样本相关系数

协方差矩阵的用途

1.刻画数据整体离散型

如果$|S|$很小，有可能是数据波动比较小，也有可能是存在共线性现象。故$|S|$称为广义方差。

$tr(S)$刻画了各变量波动程度的总和，但忽略了变量间的相关性，故成为总方差。

2.定义统计距离

一元情况
欧式距离：$|y_1-y_2|$
标准化后的距离：$|y_1-y_2|/s_y$

多元情况
在多元情况中，对于两个$p$维向量
${\mathbf{y}}_1=(y_{1}1,...,y_{1}p{)}^{\top }$
${\mathbf{y}}_2=(y_{2}1,...,y_{2}p{)}^{\top }$

欧式距离定义为：
$$||{\mathbf{y}}_1-{\mathbf{y}}_2||=\sqrt{({\mathbf{y}}_1-{\mathbf{y}}_2{)}^{\top }({\mathbf{y}}_1-{\mathbf{y}}_2)}=\sqrt{\sum _{j=i}^p(y_{1j}-y_{2j}{)}^2}$$

欧式距离只考虑了分量各自的距离，没有考虑到不同变量变化的尺度不同，以及变量之间的相关性。

统计距离/马氏距离

类似于一元情况$|y_1-y_2|/s_y$，我们定义 ${\mathbf{y}}_1$和${\mathbf{y}}_2$之间的统计距离/马氏距离：
$$d=\sqrt{({\mathbf{y}}_1-{\mathbf{y}}_2{)}^{\top }{\mathbf{S}}^{-1}({\mathbf{y}}_1-{\mathbf{y}}_2)}$$

统计距离而言，方差更大的变量贡献更小的权重，两个高度相关的变量的贡献小于两个相关性较低的变量。

欧氏距离vs统计距离

统计距离其实是两个经过“标准化”的向量${\mathbf{S}}^{-1/2}{\mathbf{y}}_1$ 和 ${\mathbf{S}}^{-1/2}{\mathbf{y}}_2$ 之间的欧式距离：

$$||{\mathbf{S}}^{-1/2}{\mathbf{y}}_1-{\mathbf{S}}^{-1/2}{\mathbf{y}}_2||=\sqrt{({\mathbf{y}}_1-{\mathbf{y}}_2{)}^{\top }{\mathbf{S}}^{-1}({\mathbf{y}}_1-{\mathbf{y}}_2)}$$

为什么是 ${\mathbf{S}}^{-1/2}{\mathbf{y}}_1$ 的形式？我们可以计算得到其协方差实际就是一个单位矩阵$\mathbf{I}$

$$Cov({\mathbf{S}}^{-1/2}{\mathbf{y}}_1)={\mathbf{I}}_p$$

由此可得，经过标准化后的 ${\mathbf{S}}^{-1/2}{\mathbf{y}}_1$ 各变量之间的相关系数为0，不同变量之间协方差为0，变量自身的方差也标准化为了1。

随机变量的线性组合

$\mathbf{y}=(Y_1,...,Y_p{)}^{\top }$ 的均值 $\mu$，协方差矩阵为$\mathbf{\Sigma }$

定义线性组合：
$$Z={\mathbf{a}}^{\top }\mathbf{y}=\sum _{j=1}^p{a}_j{Y}_j$$
其中 $\mathbf{a}=(a_1,...,a_p{)}^{\top }$是系数向量。

则对随机变量$Z$ 我们有：
$E(Z)=E({\mathbf{a}}^{\top }\mathbf{y})={\mathbf{a}}^{\top }\mathbf{\mu }$
$var(Z)=var({\mathbf{a}}^{\top }\mathbf{y})={\mathbf{a}}^{\top }\mathbf{\Sigma }\mathbf{a}$

如果我们有另一个线性组合：
$$W={\mathbf{b}}^{\top }\mathbf{y}=\sum _{j=1}^p{b}_j{Y}_j$$
则可以计算$Z$和$W$之间的线性关系：
$$\begin{array}{rl}{\sigma }_{ZW}& =cov(Z,W)\\ & =E({\mathbf{a}}^{\top }\mathbf{y}-{\mathbf{a}}^{\top }\mathbf{\mu })({\mathbf{b}}^{\top }\mathbf{y}-{\mathbf{b}}^{\top }\mathbf{\mu })\\ & ={\mathbf{a}}^{\top }\mathbf{\Sigma }\mathbf{b}\end{array}$$

$${\rho }_{ZW}=corr(Z,W)=\frac{{\mathbf{a}}^{\top }\mathbf{\Sigma }\mathbf{b}}{\sqrt{({\mathbf{a}}^{\top }\mathbf{\Sigma }\mathbf{a})({\mathbf{b}}^{\top }\mathbf{\Sigma }\mathbf{b})}}$$

如果是多个线性组合呢？

考虑 $q$个$Y_1,...,Y_p$的线性组合，记作 $\mathbf{z}=\mathbf{Ay}$, $\mathbf{A}=(a_{ij}{)}_{q\times p}$，则我们有：

$${\mu }_{\mathbf{z}}=E(\mathbf{Ay})=\mathbf{A\mu },$$
$${\mathbf{\Sigma }}_{\mathbf{z}}=Cov(\mathbf{z})=\mathbf{A}\mathbf{\Sigma }{\mathbf{A}}^{\top }$$

更一般的，对 $\mathbf{w}=\mathbf{Ay}+\mathbf{b}$, 其中 $b$为常向量，有
$${\mu }_{\mathbf{w}}=E(\mathbf{Ay}+\mathbf{b})=\mathbf{A\mu }+\mathbf{b},$$
$${\mathbf{\Sigma }}_{\mathbf{w}}=Cov(\mathbf{w})=\mathbf{A}\mathbf{\Sigma }{\mathbf{A}}^{\top }$$

(待更新)