降维（一）PCA (李宏毅机器学习）

最新推荐文章于 2023-10-12 21:04:27 发布

D.Guan

最新推荐文章于 2023-10-12 21:04:27 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/BRAVE_NO1/article/details/84203363

PCA（主成分分析）是一种常用的数据降维方法，旨在保留数据的主要信息。通过找到数据方差最大的方向进行投影，以最大化降维后的方差，从而达到数据压缩和信息保存的目的。PCA过程中涉及特征值和协方差矩阵的对角化，其解决方案与奇异值分解紧密相关，有助于数据可视化和降噪。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一直以来数据降维是非常重要的预处理步骤，通过数据降维，我们可以实现数据可视化、数据降噪、数据压缩等目标。那么如何定义降维呢？我们定义一个映射矩阵W，z=w*x，则表示原数据通过矩阵W变成Z。
在这里插入图片描述

PCA（principle component analysis主成分分析）

主成分分析总体来说是为了在降维的过程中尽可能的保存信息。那么如何衡量信息呢，我们考虑到了熵： $−∫plnp-\int p lnp$ 。熵中用到了概率分布，那么如何求解pdf(概率密度函数），我们考虑到了高斯。那么如何度量保存了信息的大小呢，我们考虑到了方差。如果原数据X与降维后的数据Z之间的方差接近，那么我们认为保存了足够的信息。但是var(Z)与var(X)是不同维度的数据，无法比较，所以我们可以换个角度进行思考。因为X是已知的，则var(X)也就是已知的。而var(Z)越大也就是离var(X）越近，最大也不会超过var(X)。这样一来，我们的目标就变成了使得Var(Z)最大化。
在这里插入图片描述
在图中，当投影在方差大的方向时，保存得信息最多。

那我们就开始计算：从第一个主成分开始： $z_1=w^1x$ ：

根据前面对W的声明，它是一个正交矩阵，那么我们在这里可以添加约束认为是标准正交矩阵。那么可以添加约束 $w^1)^Tw^1$