协方差，协方差矩阵

一、协方差

1.方差标准差

参考链接：什么是协方差，怎么计算？为什么需要协方差？
参考链接：PCA的数学原理 ———–重点重点推荐

统计里最基本的概念就是样本的均值，方差，或者再加个标准差。在一个含有N个样本的集合中，依次给出这些概念的公式。

$$样本均值：\overline{X} = \frac{\sum_{i=1}^NX_i}{N}$$
$$样本方差：s^2 = \frac{\sum_{i=1}^N(X_i-\overline{X})^2}{N-1}$$
$$样本标准差：s =\sqrt \frac{\sum_{i=1}^N(X_i-\overline{X})^2}{N-1}$$
很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0，8，12，20]和[8，9，11，12]，两个集合的均值都是10，但显然两个集合差别是很大的，计算两者的标准差，前者是8.3，后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。

2.协方差

标准差和方差一般是用来描述一维数据，在一维数据中每个点对中心点的离散度。但现实生活我们常常遇到含有多维数据的数据集，那么怎么描述维度之间的关系呢？比如，一个男孩子的活跃程度跟他受女孩子欢迎程度是否存在一些联系啊，协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：
在一个含有N个样本的二维集合(X,Y)中，他的协方差为：

$$样本方差：cov(x,y) = \frac{\sum_{i=1}^N(X_i-\overline{X}) (Y_i-\overline{Y})}{N-1}$$

协方差只能处理二维问题(两个随机变量(X,Y)的关系)，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算$\frac{n! }{ ((n-2)!*2) }$个协方差，那自然而然的我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义：

对两个二维而言（X,Y）：

$$C_{ij}=\operatorname{cov}(X_i,Y_j)=\operatorname{E}\big[(X_i-\operatorname{E}[X_i])(Y_j-\operatorname{E}[Y_j])\big]$$
将这个式子转换为统一矩阵形式可以有：
$$C_{ij}=\operatorname{cov}(X_i,X_j)=\operatorname{E}\big[(X_i-\operatorname{E}[X_i])(X_j-\operatorname{E}[X_j])\big]$$
将 $X_i$转换为矩阵形式有
$$C_{ij}=\operatorname{cov}(X_i,X_j)=\operatorname{E}\big[(X_i-\operatorname{E}[X_i])(X_j-\operatorname{E}[X_j])\big]$$

$$=\begin{bmatrix} \operatorname{cov}(X_1, X_1) & \operatorname{cov}(X_1, X_2) & \cdots & \operatorname{cov}(X_1, X_n) \\ \operatorname{cov}(X_2, X_1) & \operatorname{cov}(X_2, X_2) & \cdots & \operatorname{cov}(X_2, X_n) \\ \vdots & \vdots & \ddots & \vdots \\ \operatorname{cov}(X_n, X_1) & \operatorname{cov}(X_n, X_2) & \cdots & \operatorname{cov}(X_n, X_n) \end{bmatrix}$$
$$=\begin{bmatrix} \operatorname{E}\big[(X_1-\operatorname{E}[X_1])(X_1-\operatorname{E}[X_1])\big] & \operatorname{E}\big[(X_1-\operatorname{E}[X_1])(X_2-\operatorname{E}[X_2])\big] & \cdots & \operatorname{E}\big[(X_1-\operatorname{E}[X_1])(X_n-\operatorname{E}[X_n])\big] \\ \operatorname{E}\big[(X_2-\operatorname{E}[X_2])(X_1-\operatorname{E}[X_1])\big] & \operatorname{E}\big[(X_2-\operatorname{E}[X_2])(X_2-\operatorname{E}[X_2])\big] & \cdots & \operatorname{E}\big[(X_2-\operatorname{E}[X_2])(X_n-\operatorname{E}[X_n])\big] \\ \vdots & \vdots & \ddots & \vdots \\ \operatorname{E}\big[(X_n-\operatorname{E}[X_n])(X_1-\operatorname{E}[X_1])\big] & \operatorname{E}\big[(X_n-\operatorname{E}[X_n])(X_2-\operatorname{E}[X_2])\big] & \cdots & \operatorname{E}\big[(X_n-\operatorname{E}[X_n])(X_n-\operatorname{E}[X_n])\big] \end{bmatrix}$$
$$=\operatorname{E}\big[(\textbf X-\operatorname{E}[\textbf X]\big)(\textbf X-\operatorname{E}[\textbf X])^T]$$
就是在这个里面协方差矩阵还可以这样计算，先让样本矩阵中心化，即每一维度减去该维度的均值，使每一维度上的均值为0，然后直接用新的到的样本矩阵乘上它的转置，然后除以(N-1)即可。其实这种方法也是由前面的公式推导而来，只不过理解起来不是很直观，但在抽象的公式推导时还是很常用的.
例子：给定如下矩阵求协方差：
$$\left[ \begin{matrix} 1&2&3&4 \\ 3&4&1&2 \\ 2&3&1&4 \end{matrix} \right]$$
求解如下：
$$C_{n *n} = cov(z)= cov\left[ \begin{matrix} 1&2&3&4 \\ 3&4&1&2 \\ 2&3&1&4 \end{matrix} \right] = \frac{1}{4-1} \left[ \begin{matrix} \left[\begin{matrix} 1-2\\3-2 \\2-2\end{matrix}\right]* \left[\begin{matrix} 1-2\\3-2 \\2-2\end{matrix}\right]^T&..&..&.. \\ ..&..&..&.. \\ ..&..&..&.. \end{matrix} \right]$$
可以看出协方差矩阵是对每一个维度的和另一个维度的关联关系。而不是单个点与另一个点的关联关系。

参考链接：协方差与协方差矩阵

协方差矩阵的用途：

协方差矩阵是对比数据维度的相关性矩阵，在PCA降维中有重要使用。

再谈协方差矩阵之主成分分析 –通俗易懂说明协方差矩阵的使用及其意义
PCA算法是怎么跟协方差矩阵/特征值/特征向量勾搭起来的? —公式推导协方差和特征值特征向量的关系
协方差矩阵的几何解释 –协方差图形化的解释 —原来的英文连接–A geometric interpretation of the covariance matrix
PCA－Principal Components Analysis数学原理
主成分分析（PCA）的推导与解释