机器学习:协方差的全面理解

  1. 主成分分析最大方差解释https://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html
  2. 主成分分析最小平方误差解释
    https://www.cnblogs.com/jerrylead/archive/2011/04/18/2020216.html
  3. 特征提取之ICA链接点此

1. 协方差深入理解

先从方差开始,我们有一组样本x1、x2、x3····xn,这组样本的均值为E(X),每一个样本都与E(X)之间存在误差,那么这组样本的方差被定义为:所有误差的和的均值,也即
[Σ(xi-E(X))^2]/(n-1),

方差的作用就是用来“衡量样本偏离均值的程度”。

下面开始看协方差,协方差的计算公式如下图:
在这里插入图片描述
仔细观察上述定义式,可知:如果两个变量的变化趋势一致,也就是说如果X大于自身均值时Y也大于自身均值,那么X与Y变量的协方差就是正值;如果两个变量的变化趋势相反,即X变量大于自身的均值时另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。

下面再从直观上理解一下上面这段话,假设我们拿到了一组(X, Y)的样本如下图(a)所示。然后让这组样本中的X、Y各自减掉自己的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值