机器学习：协方差的全面理解

1. 主成分分析最大方差解释https://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html
2. 主成分分析最小平方误差解释
   https://www.cnblogs.com/jerrylead/archive/2011/04/18/2020216.html
3. 特征提取之ICA链接点此

1. 协方差深入理解

先从方差开始，我们有一组样本x1、x2、x3····xn，这组样本的均值为E(X)，每一个样本都与E(X)之间存在误差，那么这组样本的方差被定义为：所有误差的和的均值，也即
[Σ(xi-E(X))^2]/(n-1)，

方差的作用就是用来“衡量样本偏离均值的程度”。

下面开始看协方差，协方差的计算公式如下图：

仔细观察上述定义式，可知：如果两个变量的变化趋势一致，也就是说如果X大于自身均值时Y也大于自身均值，那么X与Y变量的协方差就是正值；如果两个变量的变化趋势相反，即X变量大于自身的均值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

下面再从直观上理解一下上面这段话，假设我们拿到了一组（X, Y）的样本如下图（a）所示。然后让这组样本中的X、Y各自减掉自己的