西瓜书+实战+吴恩达机器学习(十八)降维(主成分分析 PCA)

本文介绍了主成分分析PCA,一种用于缓解维数灾难的降维方法。PCA通过找到最大化方差的超平面,实现样本的最近重构性和最大可分性。PCA算法涉及线性变换和奇异值分解SVD,选择最大的奇异值来决定降维维度。

如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~

0. 前言

维数灾难:在高维情形下出现的数据样本稀疏、距离计算困难等问题。

缓解维数灾难的方法是降维

降维的好处:

  1. 舍弃部分信息后能使得样本的采样密度增大
  2. 当数据受到噪声影响时,舍弃的无关信息往往与噪声有关

1. 主成分分析PCA

主成分分析(Principal Component Analysis)是常用的降维方法。

PCA假设存在这样的超平面:

  • 最近重构性:样本点到这个超平面的距离都足够近
  • 最大可分性:样本点在这个超平面上的投影能尽可能分开,即方差最大化

PCA算法如下图所示(图源:机器学习),基于线性变换进行降维: Z = W T X Z=W^TX Z=WTX

奇异值分解SVD:通常可以使用SVD代替特征值分解: s v d = U Σ V T svd=U\Sigma V^T s

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值