西瓜书+实战+吴恩达机器学习（十八）降维（主成分分析 PCA）

最新推荐文章于 2024-02-03 14:01:40 发布
最新推荐文章于 2024-02-03 14:01:40 发布
阅读量1.3k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习 降维 PCA 主成分分析 最大方差
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhq9695/article/details/87858570
本文介绍了主成分分析PCA，一种用于缓解维数灾难的降维方法。PCA通过找到最大化方差的超平面，实现样本的最近重构性和最大可分性。PCA算法涉及线性变换和奇异值分解SVD，选择最大的奇异值来决定降维维度。

文章目录

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

维数灾难：在高维情形下出现的数据样本稀疏、距离计算困难等问题。

缓解维数灾难的方法是降维。

降维的好处：

  1. 舍弃部分信息后能使得样本的采样密度增大
  2. 当数据受到噪声影响时，舍弃的无关信息往往与噪声有关

1. 主成分分析PCA

主成分分析（Principal Component Analysis）是常用的降维方法。

PCA假设存在这样的超平面：

  • 最近重构性：样本点到这个超平面的距离都足够近
  • 最大可分性：样本点在这个超平面上的投影能尽可能分开，即方差最大化

PCA算法如下图所示（图源：机器学习），基于线性变换进行降维： Z = W T X Z=W^TX Z=WTX：

奇异值分解SVD：通常可以使用SVD代替特征值分解： s v d = U Σ V T svd=U\Sigma V^T s

最低0.47元/天 解锁文章

新学期VIP享超值加赠
主成分分析：数学领域的降维利器
AI天才研究院
07-14 963
主成分分析（PCA）作为经典的线性降维技术，通过提取数据的主要方差方向实现高维数据到低维空间的映射，是解决“维度灾难”的核心工具。本文以第一性原理为起点，系统解析PCA的数学本质（协方差矩阵的特征分解）、算法实现（从标准化到投影的全流程）、工程实践（机器学习预处理、数据可视化）及前沿扩展（核PCA、增量PCA）。内容覆盖从入门级类比到专家级数学推导的多层次解释，结合真实案例（如Eigenface人脸识别）与代码实现（Python/Scikit-learn），为读者构建“理论-方法-应用”的完整知识体系。
西瓜书课后题——第十章（降维与度量学习） （ KNN、PCA ）
qq_37691909的博客
05-10 3386
此处只记录编程题目10.1和10.6，其余题目请参考：https://blog.youkuaiyun.com/icefire_tyh/article/details/52243773 10.1 KNN分类 理论比较简单，书上也说的比较清晰，所以直接给出代码： import numpy as np import pandas as pd import heapq import matplotlib.p...
西瓜书学习笔记——主成分分析（公式推导+举例应用）
最新发布
Nie同学的博客
02-03 2578
本篇博客介绍了主成分分析（PCA）算法，以及其在降维问题中的应用。PCA旨在通过线性变换找到最能代表原始数据的主成分，同时保留数据的重要信息。通过特征值分解，我们推导了PCA的优化目标，并使用重构阈值确定最小降维维度。最后，通过实验分析展示了PCA在一个相关数据集上的降维效果。
《西瓜书》笔记10：降维与度量学习-PCA（二）
鸟恋旧林的博客
08-14 2495
3 主成分分析Principal Component Analysis，PCA。最常用的降维方法。3.1 怎么来的？正交属性空间中，如何用一个超平面，对所有样本进行恰当表达？ 最近重构性：样本点到该平面的距离足够近。要表达就要比较相似，距离近。 最大可分性：样本点在平面上的投影尽可能分开。点与点足够区分。 基于这两个性质，可推导出主成分分析的2种等价推导。假定数据样本进行了中心化（每个值减去均值）。
西瓜书：PCA数学推导
weixin_45963617的博客
07-18 672
一、PCA降维过程 只需对协方差矩阵X*transpose(X)进行特征值分解，将求得的特征值排序：λ1>=λ2>=…>=λd，再取前d’个特征值对应的特征向量构成W=（w1,w2,…,wd’）,这就是PCA的解。 西瓜书中的PCA算法如下： 需要说明的是，算法中的向量为列向量。假设原始维度为d，样本数目为m，因此特征矩阵X的维度为d×m，W的维度为d×d’。降维的时候，transpose(W)*X得到 d’×m的矩阵，它的每一列，即为降维后的向量。 二、PCA优化目标与求解 1.PCA
机器学习（吴恩达+西瓜书）学习笔记 - Neural Network
大齐zkd的博客
08-11 1055
一、为什么要学习神经网络 神经网络实际上是一个相对古老的算法，并且后来沉寂了一段时间，不过到了现在，它又成为许多机器学习问题的首选技术。我们已经有线性回归和逻辑回归算法了，为什么还要研究神经网络？ 我们首先来看几个机器学习问题作为例子，这几个问题的解决，都依赖于研究复杂的非线性分类器考虑这个监督学习分类的问题。 我们已经有了对应的训练集，如果利用逻辑回归算法来解决这个问题。 首先需要构造一个包含很多非线性项的，逻辑回归函数这里g仍是s型函数 (即f(x)=1/(1+e^-x) ) 。我们能让函数包含很多像这
2022吴恩达机器学习笔记汇总(共10章节).zip
12-27
2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip...
吴恩达机器学习（十二）主成分分析（降维、PCA）
今天你学习了吗
10-11 5134
目录 0. 前言 1. 主成分分析（PCA） 2. 主成分分析PCA的流程 3. 低维空间维度的选择 4. 主成分分析使用方式 学习完吴恩达老师机器学习课程的降维，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。 如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~ 0. 前言 数据的特征数量，又称作向量的维度。降维（dimensionality re...
吴恩达机器学习的习题答案
12-31
2. 无监督学习：习题涵盖了聚类算法，如K-means，以及降维方法，如主成分分析（PCA）。这些习题有助于我们理解无标签数据的处理方法，以及如何通过减少特征维度来简化问题。 3. 模型评估与选择：这部分习题讨论了...
吴恩达机器学习笔记pdf格式
05-19
《吴恩达机器学习笔记》是一份详尽的教育资源，旨在帮助学习者深入理解机器学习这一领域的核心概念和算法。吴恩达，作为人工智能和在线教育领域的先驱，以其深入浅出的教学风格闻名，他的机器学习课程在全球范围内广...
送书 | 主成分分析PCA
悟道西方
06-22 1939
主成分分析 PCA本节作者：刘华，中国科学技术大学版本1.0.3，更新日期：2020年6月18日什么是PCA(Principal Component Analysis)相关背景在许多领域...
西瓜书-PCA
weixin_34235371的博客
04-30 566
PCA和线性回归的区别： 左边是线性回归，右边是PCA，PCA算的是投影误差的平方 引用 www.zhihu.com/question/36… t-SNE vs PCA 至于t-SNE为啥牛， 这里给两个对比图片， 然后我们再回到PCA，以后有机会再扩展！ t-SNE vs PCA： 可以看到线性特征表达的局限性 t-SNE 优于 已有非线性特征表达 Isomap, LLE 和 Sammon...
PCA主成分分析最清晰推导证明过程！
铁血军的小博客
05-04 8801
写作目的 最近看PCA，觉得各个机器学习书上的证明都不够详细，总感觉看推导的过程中有知识断层的情况，最近又重新梳理了一遍矩阵分析的知识，终于把整个过程都推导了清楚。 知识预备 主成分分析证明 意义与目的 证明过程 结论 所以对X的降维过程，就是要求X与X转置相乘矩阵的特征值与特征值对应的特征向量对应的正交矩阵。 PCA过程 这是西瓜书上的PCA过程，其实通过上面的推导我们也能很自然的得出...
西瓜书-第10章-降维与度量学习
u010921136的博客
05-22 456
降维的目的 PCA主成分分析 LDA线性判别分析 核化线性降维 流形学习 度量学习
西瓜书学习——第十章降维与度量学习
老三的博客
07-11 443
通过这周对西瓜书第十章的学习，记录笔记如下： 第十章降维与度量学习——2低维嵌入第十章降维与度量学习——3主成分分析 第十章降维与度量学习——5流形学习 第十章降维与度量学习——5流形学习 ...
《西瓜书》笔记10：降维与度量学习（三）
鸟恋旧林的博客
08-14 1885
4. 核化线性降维线性降维方法假设：从高维空间到低维空间的函数映射是线性的。现实任务中，可能需要非线性映射才可找到适当的低维嵌入。如上图，样本点从二维空间中的矩形区域采样后，以S形曲面嵌入到三维空间。若直接使用线性降维方法对三维空间观察到的样本点进行降维，将丢失原本的低维结构。“原本采样的”低维空间称为本真低维空间。非线性降维的一种常用方法：基于核技巧对线性降维方法进行核化。如核主成分分析，KPCA
机器学习西瓜书笔记（十）--------------降维与度量学习
qq_42316200的博客
07-19 603
目录 降维与度量学习 K近邻学习 主成分分析（PCA） 降维与度量学习 样本的特征数称为维数（dimensionality），当维数非常大时，也就是现在所说的“维数灾难”，具体表现在：在高维情形下，数据样本将变得十分稀疏，因为此时要满足训练样本为“密采样”的总体样本数目是一个触不可及的天文数字，谓可远观而不可亵玩焉...训练样本的稀疏使得其代表总体分布的能力大大减弱，从而消减了学习器的泛化能力；同时当维数很高时，计算距离也变得十分复杂，甚至连计算内积都不再容易，这也是为什么支持向量机（SVM.
《西瓜书》-10.降维
ruoqi23的博客
07-31 691
10.降维 10.1.k近邻学习（kNN） k近邻（k-Nearest Neighbor，简称kNN）学习是一种常用的监督学习方法 其工作机制非常简单： *给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本； *然后基于这k个“邻居”的信息来进行预测。 通常，在分类任务中可使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大.
西瓜书+实战+吴恩达机器学习（一）机器学习基础（数据集划分、分类回归评估指标）
今天你学习了吗
02-21 2236
文章目录0. 前言 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~ 0. 前言
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值