协方差 协方差矩阵

协方差定义

       在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。

       期望值分别为E(X) = μ 与 E(Y) = ν 的两个实数随机变量X与Y之间的协方差定义为：

COV(X，Y)=E[(X-E(X))(Y-E(Y))]，其中，E是期望值。

       它也可以表示为：直观上来看，协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。

       如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。

      如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

      如果X与Y是统计独立的，那么二者之间的协方差就是0。 但是，反过来并不成立。即如果X与Y的协方差为0，二者并不一定是统计独立的。

协方差矩阵

      假设 X 是以 n 个标量随机变量组成的列向量，并且μk 是其第k个元素的期望值, 即, μk= E(xk), 协方差矩阵然后被定义为：

                                                    Σ=E{(X-E[X])(X-E[X])}

如下图：

 

协方差矩阵的性质

        协方差矩阵是对称阵；

        协方差矩阵是半正定（非负定）阵。

半正定阵

       设M是n阶方阵，如果对任何非零向量z，都有 z'Mz > 0，其中z' 表示z的转置，就称M正定矩阵。

协方差矩阵的半正定性证明：部分转自http://blog.youkuaiyun.com/facerec/article/details/1697362

       设为一组随机变量，这些随机变量构成随机向量，每个随机变量有m个样本，则有样本矩阵

（1）

其中对应着每个随机向量X的样本向量，对应着第i个随机单变量的所有样本值构成的向量。

单随机变量间的协方差：

随机变量之间的协方差可以表示为

       （2）

根据已知的样本值可以得到协方差的估计值如下：

       （3）

可以进一步地简化为：

（4）

协方差矩阵：

（5）

其中，从而得到了协方差矩阵表达式。

如果所有样本的均值为一个零向量，则式（5）可以表达成：

  （6）

           一种证明：

        另一种证明：

       Y和y都为列向量。

       PS：半正定阵对判断函数是否凹、凸函数很有帮助！！！

       如有错误请指正！！！