【人工智能机器学习基础篇】——深入详解无监督学习之降维：PCA与t-SNE的关键概念与核心原理

于 2024-12-31 09:31:41 发布
阅读量3.4k 收藏 60
点赞数 63
分类专栏： 人工智能数学基础专讲 文章标签： 人工智能 机器学习 无监督学习 降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/martian665/article/details/144541794
版权

深入详解无监督学习之降维：PCA与t-SNE的关键概念与核心原理

        在当今数据驱动的世界中，数据维度的增多带来了计算复杂性和存储挑战，同时也可能导致模型性能下降，这一现象被称为“维度诅咒”（Curse of Dimensionality）。降维作为一种重要的特征提取和数据预处理技术，旨在通过减少数据的维度，保留其主要信息，从而简化数据处理过程，并提升模型的性能。本文将深入探讨两种广泛应用于无监督学习中的降维方法——主成分分析（PCA）和t-分布随机邻域嵌入（t-SNE），并详细解析其关键概念与核心原理。

目录

  1. 降维概述
  2. 主成分分析（PCA）
    • 核心概念
    • 数学原理
    • 关键步骤
    • 优缺点分析
  3. t-分布随机邻域嵌入（t-SNE）
    • 核心概念
    • 数学原理
    • 关键步骤
    • 优缺点分析
  4. PCA与t-SNE的对比分析
  5. 适用场景与选择指南
  6. 结论

1. 降维概述

什么是降维&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【人工智能】—_维度灾难、降维、主成分分析PCA、获取旧数据、非线性主成分分析
太阳当空照，花儿对我笑，微风轻轻拂，心情无限好。
09-03 227
这是由于，根据勾股定理，数据点到主成分的距离的平方和等于每个数据点在主成分上的投影与该数据点之间的距离的平方和。因此，最小化数据点到主成分的距离的平方和等价于最大化每个数据点在主成分上的投影的平方和。这是因为，最小化这个距离的平方和可以最大化数据点在主成分上的投影的平方和。综上所述，为了找到最佳的主成分，需要最大化每个数据点在主成分上的投影的平方和，即最小化数据点到主成分的距离的平方和。因此，对于高维数据，需要特别注意选择适当的特征和降维技术，以便提高数据的密度和距离的意义，同时减少维度灾难的影响。
人工智能AI之机器学习基石系列 第 3 篇：选择你的“学习方法”——初探监督学习与无监督学习
最新发布
maqh_csdn的博客
06-03 961
本文通俗讲解了机器学习的两大核心范式——监督学习（有“老师”指导，用带标签数据预测）与无监督学习（自主“探索”，从无标签数据中发现模式），并阐明了它们的核心区别与适用场景。
机器学习实战-降维
weixin_34208283的博客
05-24 182
　　降维 　　降维的动力来自于维度魔咒，动辄几万个甚至更多的特征会导致训练变慢，而且，维数越高越难找到合适的解决方案。特征的维数对应着相同维度的一个高维空间，高维空间中点与点的距离很容易变得很大，也就是实例之间的距离很大，训练集的特征空间很稀疏，这容易导致过拟合，当然，通过添加足够多的训练实例，在理论上可以解决这个问题，然而，这个方法需要增加的实例数是成指数增长的，因此不好用。人们于是转而寻求其...
降维技术在人工智能中的应用
AI天才研究院
01-05 1113
1.背景介绍 降维技术，也被称为降维分析或降维映射，是一种数据处理方法，它旨在将高维数据映射到低维空间，以便更好地理解和可视化数据。降维技术在人工智能(AI)领域具有广泛的应用，包括数据压缩、数据清洗、数据减噪、特征选择、模式识别和机器学习等方面。 随着数据量的增加，高维数据成为了人工智能系统处理的一种常见挑战。高维数据可能导致计算复杂性增加、模型性能下降和过拟合问题等问题。因此，降维技术在人...
python人工智能——机器学习——数据的降维
Alex
02-13 784
数据降维 1.特征选择 2.主成分分析 特征选择 特征选择原因 1.冗余：部分特征的相关度高，容易消耗计算性能。 2.噪声：部分特征对预测结果有影响。 1.特征选择是什么 特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小。 主要方法（三大武器）： Filter(过滤式):VarianceThreshol...
数据可视化PCA与t-SNE
二十年蝉电子学习博客
11-08 2648
PCA（主成分分析）和t-SNE（t分布随机近邻嵌入）都是降维技术，可以用于数据的可视化和特征提取。降维主要可以分为线性降维和非线性降维PCA（Principle Components Analysis，主成分分析）SNE（Stochastic Neighbor Embedding，随机近邻嵌入），t-SNE是基于SNE的。
深入浅出PCA降维：机器学习中的强大工具
weixin_54856108的博客
08-11 2046
降维是指将高维数据映射到一个较低维度的空间，同时尽量保留原始数据的重要信息。在机器学习中，降维的主要目的是减少数据的特征数目，简化模型的复杂性，提高模型的计算效率，同时帮助我们更好地理解数据的结构。高维数据的挑战维度诅咒：随着数据维度的增加，数据空间会变得极其稀疏，导致机器学习算法难以找到有效的模式。计算复杂度：高维数据通常需要更长的计算时间和更大的内存空间。可视化困难：人类直观地理解三维及以下的数据，对于高于三维的数据，直观理解变得几乎不可能。降维的应用场景数据可视化。
如何结合PCA、t-SNE/UMAP与聚类算法进行高维数据分析？
Teng的博客
12-27 1744
结合PCAt-SNE/UMAP和聚类算法，我们能够有效地处理和分析高维数据，发现数据中的潜在结构和群体。通过PCA去除冗余特征和加速计算，再通过t-SNE或UMAP精细化降维，最终使用聚类算法识别不同的群体，这一流程能够帮助我们更好地理解数据。PCA用于去除冗余特征，降低维度，并保留数据的全局结构。t-SNE或UMAP进一步降维，帮助我们揭示数据的局部结构，便于可视化。聚类能够根据降维后的数据识别潜在的群体或结构，帮助我们发现数据中的隐藏模式。
T SNE降维matlab程序,关于t-SNE降维方法
weixin_35064481的博客
03-18 986
关于t-SNE降维方法论文原图是这样的：image.png1. 什么是t-SNE:全名是t-distributed Stochastic Neighbor Embedding(t-SNE)，翻译过来应该可以叫学生t分布的随机邻点嵌入法。t-SNE将数据点之间的相似度转换为概率。原始空间中的相似度由高斯联合概率表示，嵌入空间的相似度由“学生t分布”表示。t-SNE在一些降维方法中表现得比较好。因为t...
机器学习降维方法
qq_35674954的博客
11-22 202
https://www.jianshu.com/p/b06aef9870f2
机器学习 - 降维算法总结
overzy的博客
11-30 1033
机器学习 - 降维算法总结
机器学习常用的降维方法
weixin_33872660的博客
07-17 333
特征降维方法包括：Lasso，PCA，小波分析，LDA，奇异值分解SVD，拉普拉斯特征映射，SparseAutoEncoder，局部线性嵌入LLE，等距映射Isomap。 1. LASSO通过参数缩减达到降维的目的 LASSO(Least absolute shrinkage and selection operator, Tibshirani(1996))该方法是一种压缩估计，通过构造一个...
t-SNE和PCA算法介绍(原作者写得很好.推荐一下)
zhe_csdn的博客
12-17 2032
从SNE到t-SNE再到LargeVis http://bindog.github.io/blog/2016/06/04/from-sne-to-tsne-to-largevis/ t-SNE和PCA介绍 https://www.jianshu.com/p/8c20b975a174
t-SNE和PCA进行数据降维和聚类的比较
WuKai1207的博客
09-03 3599
t-SNE（t-distributed stochastic neighbor embedding）是一种非线性的数据降维方法，它将数据点之间的空间距离转化为相似度的概率分布（高维空间中使用高斯分布，低维空间中使用t-分布），通过最小化高维空间和低维空间概率分布的KL散度，获得数据在低维空间中的近似。可以看到经t-SNE降维后的数据，实现非常好的分离。PCA（主成分分析）通过对原始数据特征的线性组合，在尽可能保留样本之间差异性（样本方差）的情况下，形成新的特征，是最常见的数据降维手段。
T.SNE vs PCA
Vikipedia2021的博客
05-02 884
TSNE 和PCA，TSNE更加适合复杂维度的数据处理
【小技巧】机器学习中可视化高维向量的两种方法PCA和t-SNE,以及其原理介绍和代码示例(附代码)
页页读
04-12 2699
为了可视化高维数据（比如你的256维向量）在低维空间（通常是2D或3D）的分布，常用的方法包括主成分分析（PCA）和t-SNE。这两种方法可以帮助我们理解数据在高维空间中的内在结构。下面，我会展示如何使用Python的库和matplotlib来可视化这些向量。我将使用PCA和t-SNE两种方法来降维，并在3D平面上展示结果。如果你有标签数据，这将有助于我们看到不同簇的分布。import os""""""# 使用PCA将数据降到3维# 使用t-SNE将数据降到3维。
主成分分析（PCA）与t-SNE
qq_33578950的博客
04-09 2614
主成分分析（PCA）和t-SNE是两种非常有用的数据降维和可视化技术。PCA通过线性变换将高维数据投影到低维空间，而t-SNE则是一种非线性降维技术，可以将高维数据嵌入到二维或三维空间中进行可视化。选择PCA还是t-SNE取决于数据类型、目标和计算资源的可用性。无论哪种技术，它们都是处理高维数据的重要工具，有助于我们理解数据集的结构和特征，并支持进一步分析和机器学习应用。
sklearn 特征降维利器 —— PCA & TSNE
热门推荐
03-22 1万+
同为降维工具，二者的主要区别在于， 所在的包不同（也即机制和原理不同） from sklearn.decomposition import PCA from sklearn.manifold import TSNE 因为原理不同，导致，tsne 保留下的属性信息，更具代表性，也即最能体现样本间的差异； TSNE 运行极慢，PCA 则相对较快； 因此更为一般的处理，尤其在展示（可视化）高维数据时，常
掌握特征提取：机器学习中的 PCA、t-SNE 和 LDA模型
gongdiwudu的专栏
12-16 1264
与 PCA（主成分分析）相比，这是一种更好的降维技术。t-SNE，即 t 分布随机邻域嵌入，是一种通过将高维数据降低到低维空间（通常是二维或三维）来实现可视化的统计方法。这使得数据的可视化和解释变得更加容易，特别是在处理机器学习和数据科学等复杂数据集时。
评论 78
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猿享天开

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值