协方差矩阵

方差（variance）

方差是针对于一个随机变量X来说的，X是个标量而不是矢量

方差用来衡量随机变量的离散程度和偏离程度的、

$Var(X)=E[(X-\mu)^2]$

其中$\mu 是随机变量X的均值$，$\mu =EX$

协方差（covariance）

协方差用于描述两个随机变量X和Y之间的相关关系的，这两个都是标量而不是矢量

$cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX*EY$

如果XY毫不相关，cov(X,Y)=0，正相关则cov(X,Y)>0,负相关则cov(X,Y)<0

协方差矩阵

协方差矩阵 是针对于两个随机向量分布$\textbf{X}和\textbf{Y}$来说的。

协方差矩阵是两个分布之间的矩阵

$\textbf{X}\in\mathbb R^m$

$\textbf{Y}\in\mathbb R^n$

$\textbf{X}=[X_1,X_2,...,X_m]$

$\textbf{Y}=[Y_1,Y_2,...,Y_n]$

$\textbf{X}$和$\textbf{Y}$中每个元素都是一个随机变量

则两者的协方差矩阵就是一个$m\times n$的矩阵

这个矩阵的第$(i,j)$个元素就是$cov(X_i,Y_j)$

协方差矩阵：

$cov(\textbf{X},\textbf{Y})=\begin{bmatrix}E[(X_1-EX_1)(Y_1-EY_1)]&E[(X_1-EX_1)(Y_2-EY_2)]&\cdots&E[(X_1-EX_1)(Y_n-EY_n)]\\E[(X_2-EX_2)(Y_1-EY_1)]&E[(X_2-EX_2)(Y_2-EY_2)]&\cdots&E[(X_2-EX_2)(Y_n-EY_n)]\\ \vdots&\vdots&\ddots&\vdots\\ E[(X_m-EX_m)(Y_1-EY_1)]&E[(X_m-EX_m)(Y_2-EY_2)]&\cdots&E[(X_m-EX_m)(Y_n-EY_n)]\end{bmatrix}$

也可以表示一个向量分布的协方差矩阵：

$cov(\textbf X)=cov(\textbf X,\textbf X)$