机器学习笔记(四)PCA主成分分析

首先先复习一下要用到的基础的知识:

(一)、协方差和方差

样本均值:

样本方差:

样本X和样本Y的协方差:

协方差代表了两个变量之间的相关关系,协方差为正时,说明X和Y是正相关关系;协方差为负时,说明X和Y是负相关关系;协方差为0时,说明X和Y是相互独立。Cov(X,X)就是X的方差。当样本是n维数据时,它们的协方差实际上是协方差矩阵(对称方阵)。例如,对于3维数据(x,y,z),计算它的协方差就是:

(二)、特征值与特征向量

如果向量v与变换A满足Ax=λx,则称向量x是变换A的一个特征向量,λ是相应的特征值。

描述正方形矩阵的特征值的重要工具是特征多项式,λ是A的特征值等价于线性方程组(A – λI) x = 0 (其中I是单位矩阵)有非零解x (一个特征向量),因此等价于行列式|A – λI|=0  

函数p(λ) = det(A – λI)是λ的多项式,因为行列式定义为一些乘积的和,这就是A的特征多项式。矩阵的特征值也就是其特征多项式的零点。一个矩阵A的特征值可以通过求解方程pA(λ) = 0来得到。 若A是一个n×n矩阵,则pA为n次多项式,因而A最多有n个特征值,包括虚数。但是如果是是对称矩阵的话他的特征值都是实数。Ax表示对向量x的旋转拉伸。如果Ax和x的方向一样,只是长度不一样,说明x是A的特征向量,拉伸倍数为λ。例如下图,x3是A的特征向量。

如果 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值