方差，协方差，自协方差，互协方差，自相关，互相关

方差这个是什么就不说了；

协方差定义在两个随机变量上（设$E(X)=\mu$，$E(Y)=\upsilon$）：

$cov(X,Y)=E[(X-\mu)(Y-\upsilon)]=E(XY)-\mu \upsilon$

若X和Y统计独立，那么协方差为0。

若随机变量为列向量，协方差为：

$cov(X,Y)=E[(X-\mu)(Y-\upsilon)^T]$

$cov(X,Y)=cov(Y,X)^T$

自协方差定义在随机过程上。如果$X_t$二阶平稳：

$\gamma(\tau)=E[(X_t-\mu)(X_{t+\tau}-\mu)]$

相应的，互协方差定义在两个随机过程上。

自相关/互相关类似于自协方差/互协方差，但不减直流。