降维-PCA、SVD、流形（manilfold）与t-SNE

最新推荐文章于 2023-05-19 00:29:17 发布
最新推荐文章于 2023-05-19 00:29:17 发布
阅读量378 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： PCA 数据降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xys430381_1/article/details/84592707
本文深入探讨了矩阵乘法的几何意义，即将右矩阵的列向量变换到左矩阵行向量构成的空间。此外，详细解析了协方差矩阵的对角化过程及其物理意义，并介绍了PCA算法在降维中的应用。通过流形学习方法如t-SNE，LLE和Isomap，进一步拓展了数据降维的视角。

我们可以认为两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间

向量的表示及协方差矩阵(PCA)

https://www.jianshu.com/p/5163261aa3b4
基变换的矩阵表示
协方差矩阵对角化的物理意义及如何实现。

协方差与协方差矩阵

https://www.cnblogs.com/terencezhou/p/6235974.html
样本的协方差矩阵是怎么计算的

降维算法一 : PCA (Principal Component Analysis)

https://www.jianshu.com/p/f9c6b36395f6

流形

流形学习t-SNE，LLE，Isomap

深度学习与流形学习（一）
深度学习的几何观点（1） - 流形分布定律
黎曼几何与流形学习

比PCA降维更高级——（R/Python）t-SNE聚类算法实践指南读后感
Great haste makes great waste
04-12 786
这个repo 用来记录一些python技巧、书籍、学习链接等，欢迎star github地址 比PCA降维更高级——（R/Python）t-SNE聚类算法实践指南，看到了代码运行后的图片显示效果，因为好奇是如何做到patch块显示无重叠，就想研究下python代码，但是里面的代码是没缩进的，运行是指定没法运行的，本来是懒得改缩进，想搜下看有没格式正确的，很遗憾，没搜到，就自己锊下逻辑还原了...
2020-3-7 深度学习笔记13 - 线性因子模型 2（慢特征分析SFA，稀疏编码，PCA的流形解释）
weixin_42555985的博客
03-30 1538
第十三章 线性因子模型 官网 原版 2020-3-6 深度学习笔记13 - 线性因子模型 1（降维技术：概率主成分分析PCA和因子分析，独立成分分析ICA） 慢特征分析(Slow Feature Analysis,SFA) 慢特征分析是使用来自时间信号的信息学习不变特征的线性因子模型。 SFA，源于所谓的慢性原则。希望学习随时间变化较为缓慢的特征，其核心思想是认为一些重要的特征通常相对于时间来讲相...
DS：基于鸢尾花数据集利用多种数据降维技术(PCA、SVD、MDS、LDA、T-SNE)实现三维可视化
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-19 1386
​ DS：基于鸢尾花数据集利用多种数据降维技术(PCA、SVD、MDS、LDA、T-SNE)实现三维可视化 目录 基于鸢尾花数据集利用多种数据降维技术(PCA、SVD、MDS、LDA、T-SNE)实现三维可视化 # 1、加载示例数据集（鸢尾花数据集） # 2、数据预处理 # 3、三维图可视化 基于鸢尾花数据集利用多种数据降维技术(PCA、SVD、MDS、LDA、T-SNE)实现三维可视化 # 1、加载示例数据集（鸢尾花数据集） X_arr (150, 4) [[5.1
sklearn降维算法：PCA、LDA、MDS、流形学习Isomap
qq_42797457的博客
09-09 7815
一、PCA降维（主成分分析） PCA是最常用的无监督降维算法 其原理是寻找方差最大维度，只是最大化类间样本的方差 例如，已知存在数据点如下图 PCA算法寻找方差最大维度 PCA案例：iris降维 %matplotlib inline import matplotlib.pyplot as plt from sklearn import decomposition from sklearn im...
机器学习笔记（10）—降维：SVD，LLE，t-SNE，特征值特征向量的深入理解
qq_37217397的博客
03-09 830
现在发现作为一个初学者，自己整理某些笔记有些费时费力，尤其是对于一些很成熟的算法，在很多平台上都已经有了很成熟深入的解读。 在接下来的学习过程中，我会将这些相关算法或是基础知识的深入解读每周做一次整理，附上大神们的解读链接，链接供自己学习记录，方便复习。 如有侵权联系删除。 SVD 机器学习中的SVD总结 小强大佬的这篇文章从矩阵分解入手，详细解读了矩阵分解的意义和方法，并且回顾了特征值特征向量的...
降维 ---- 主成分分析 (PCA)、奇异值分解 (SVD)
qq_36835991的博客
09-26 699
降维 在机器学习或数据处理中，经常会碰到一些高维数据，而高维数据情形下经常出现样本稀疏、计算困难等问题，称之为“维度灾难”。 对于一个高维数据数 D={X1,X2,...,XN}D = \{X_1, X_2, ..., X_N\}D={X1​,X2​,...,XN​}，其中每条数据的对应维度为nnn，即Xi∈RnX_i\in R^{n}Xi​∈Rn。降维的目的是找到一个映射函数fff，使得DDD中...
降维算法（PCA，KPCA，LDA，MDS，SVD，LLE，ISOMAP，LE，ICA，t-SNE）的概念和实证比较
01-24
本文将从概念和实证角度对比几种主要的降维算法：主成分分析(PCA)，核主成分分析(KPCA)，线性判别分析(LDA)，多维尺度(MDS)，奇异值分解(SVD)，局部线性嵌入(LLE)，等距映射(ISOMAP)，局部等距嵌入(LE)，独立成分...
使用mnist数据集_使用MNIST数据集上的t分布随机邻居嵌入（t-SNE）进行降维
weixin_26752765的博客
09-04 1365
使用mnist数据集It is easy for us to visualize two or three dimensional data, but once it goes beyond three dimensions, it becomes much harder to see what high dimensional data looks like. 对我们来说，可视化二维或三维数据很...
SVD与其他降维算法的比较：PCA、LDA和t-SNE，解锁数据降维新视角
[奇异值分解（SVD）解析](https://ucc.alicdn.com/pic/developer-ecology/c13953820209482b87fd86176507bd7e.png?x-oss-process=image/resize,s_500,m_lfit) # 1. 数据降维概述** 数据降维是一种将高维数据投影到低...
如何在Python中实现“PCA+t-SNE”级联降维？这种策略为何能提升计算效率？
最新发布
06-12
3. **对比分析级联降维(PCA→t-SNE)与单一方法在流形学习任务中的表现差异** 4. **为何PCA预处理能提升t-SNE的聚类分离度？从概率分布角度如何解释？** [^1]: 通过正交化过滤噪声提升优化稳定性 [^3]: PCA支持高效...
PCA和SVD区别和联系
Alex.W.的机器学习之路
02-07 5万+
前言： PCA(principal component analysis)和SVD(Singular value decomposition)是两种常用的降维方法，在机器学习等领域有广泛的应用。本文主要介绍这两种方法之间的区别和联系。 一、PCA:    PCA的中文名叫做主成分分析，是降维和去噪的一种重要方法。PCA选取包含信息量最多的方向对数据进行投影。其投影方向可以从最大化方差或者最小化投
机器学习算法（降维）总结及sklearn实践——主成分分析（PCA）、核PCA、LLE、流形学习
GladYouCame
04-03 1万+
降维图谱降维什么时候会用到降维维数灾难降维的主要方法1.投影（Projection）主成分分析（PCA）保留最大方差的超平面主成分（Principle Componets）奇异值分解（SVD）投影到 d 维空间Scikit-Learn实现PCA方差解释率（Explained Variance Ratio）核 PCA（Kernel PCA）调整超参数引入模型，通过最优化模型表现调参直接基于最小重建误...
浅谈流形学习
开飞机的小毛驴儿
09-08 2053
转载自：http://blog.pluskid.org/?p=533&cpage=1#comments 此人写了一系列非常好的博客，强烈推荐。 总觉得即使是“浅谈”两个字，还是让这个标题有些过大了，更何况我自己也才刚刚接触这么一个领域。不过懒得想其他标题了，想起来要扯一下这个话题，也是因为和朋友聊起我自己最近在做的方向。Manifold Learning 或者仅仅 Manifold 本身通常
流形学习 (Manifold Learning)
SEU_EXtreme!
02-26 3万+
流形学习 (manifold learning)zz from prfans............................... dodo：流形学习 (manifold learning)dodo流形学习是个很广泛的概念。这里我主要谈的是自从2000年以后形成的流形学习概念和其主要代表方法。自从2000年以后，流形学习被认为属于非线性降维的一个分支。众所周知，引导这一领域迅速发展的是20
PCA主成分数量（降维维度）选择
热门推荐
ybdesire的专栏
03-21 6万+
用PCA做降维，降到多少维合适呢？
Hinton是如何理解PCA
zhaodongh的博客
03-04 734
前言“深度学习名校课程大全” 里面给出了很多深度学习的课程， 但是说到书的话， 还是推荐 Ian Goodfellow的 “Deep Learning”， 张志华老师带来学生有翻译成中文版本。  里面就提到了Hinton 辛顿( 参考 攒说 Geoff Hinton ) 对PCA的理解，实在高明！   如果你没有看过的话，可以找来看看， 有开放的PDF版。 千万不要小看PCA， 很多人隐约知道求解...
流形学习-高维数据的降维与可视化
wepon的专栏
05-22 4万+
1.流形学习的概念流形学习方法(Manifold Learning)，简称流形学习，自2000年在著名的科学杂志《Science》被首次提出以来，已成为信息科学领域的研究热点。在理论和应用上，流形学习方法都具有重要的研究意义。假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。
python 数据降维的简单实现 - TSNE、PCA、SVD
我才是一卓的博客
09-23 797
Python 代码 import pandas as pd from sklearn.manifold import TSNE high_d = pd.read_csv('hd_coordinate.csv', header=None).to_numpy().tolist() low_d = TSNE(random_state=0).fit_transform(high_d) # 将X降到2维 pd.DataFrame(low_d).to_csv('2d_coordinate.csv', head
PCA与t-SNE降维数据
winycg的博客
11-24 4994
主成分分析(Principal Component Analysis，简称PCA )，是常用的降维方法。PCA是一种线性的降维方法，线性变换的直观表示为： 其中，x\bm{x}x是原始的样本，y\bm{y}y是降维后的样本，W\mathbf{W}W是转换矩阵。PCA的主要目标就是求解转换矩阵，我们需要预先定义目标函数，在PCA中，有以下两个优化目标： (1)最小化重构误差 (2)最大化投影后的方...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值