机器学习最强可视化降维:t-SNE 超通俗完整版

词嵌入的真正起源:从香农信息论到PMI-SVD的数学演进 词嵌入本质上是语言共现统计的几何表达,其理论根基可追溯至香农1948年提出的信息论——信息量定义为不确定性的减少,而语义关联则由点互信息(PMI)量化。PMI矩阵刻画了词对超越随机性的共现强度,再经奇异值分解(SVD)降维,自然生成保距的低维向量空间。这一‘统计→矩阵→降维→向量’路径,构成了Word2Vec、GloVe等模型的数学本质,也解释了为何调整window_size实为调控共现上下文、negative_sampling实为近似稀疏PMI。理解该原理,能穿透大模型黑箱,在RAG检索失效、语义漂移或术 阅读详情

机器学习最强可视化降维:t-SNE 超通俗完整版

在所有降维算法里,t-SNE 是画聚类图最厉害的一个。
不管数据多复杂、多扭曲,t-SNE 都能把相似的点聚在一起、不同类别分得清清楚楚,是机器学习、深度学习做特征可视化、聚类分析的“御用工具”。

这篇文章用大白话 + 原理拆解 + 可直接运行代码 + 参数调优 + 面试总结,把 t-SNE 讲得通俗易懂,本科生、研究生都能轻松掌握。


一、先看懂:t-SNE 到底是什么?

1. 一句话理解 t-SNE

t-SNE = 专门用来画高维数据聚类图的非线性降维算法
它只干一件事:
让相似的点靠得近,不相似的点离得远,画出来的图干净、漂亮、聚类明显。

2. 超通俗例子

你有一堆手写数字(0-9),每张图是 784 维。

  • PCA 画出来:数字挤在一起,分不清
  • t-SNE 画出来:同类数字紧紧抱团,不同数字分得很开

3. 最核心特点

  • 只看“邻居关系”,不看全局距离
  • 专门做可视化,几乎只用 2D/3D
  • 聚类效果吊打 PCA、LDA、MDS

二、t-SNE 核心思想(极简版)

t-SNE 分两步走:

1. 在高维空间算“相似度”

用高斯分布,算出每个点和其他点像不像。
越像,概率越高;越不像,概率越低。

2. 在低维空间“摆位置”

用 t 分布来摆放点,通过不断优化,让:
低维相似度 ≈ 高维相似度

最后得到一张:
同类相聚、异类分离、颜值极高的图。


三、t-SNE 数学原理(看得懂版)

1. 高维相似度(概率 p_ij)

用高斯核衡量两点之间的相似程度:
pj∣i=exp⁡(−∣∣xi−xj∣∣2/2σi2)∑k≠iexp⁡(−∣∣xi−xk∣∣2/2σi2)p_{j|i}=\frac{\exp(-||x_i-x_j||^2/2\sigma_i^2)}{\sum_{k\neq i}\exp(-||x_i-x_k||^2/2\sigma_i^2)}pj∣i​=∑k=i​exp(−∣∣xi​−xk​∣∣2/2σi2​)exp(−∣∣xi​−xj​∣∣2/2σi2​)​
再对称化:
pij=pj∣i+pi∣j2Np_{ij}=\frac{p_{j|i}+p_{i|j}}{2N}pij​=2Npj∣i​+pi∣j​​

2. 低维相似度(概率 q_ij)

用 t 分布(长尾,能把不相似点推得更远):
qij=(1+∣∣yi−yj∣∣2)−1∑k≠l(1+∣∣yk−yl∣∣2)−1q_{ij}=\frac{(1+||y_i-y_j||^2)^{-1}}{\sum_{k\neq l}(1+||y_k-y_l||^2)^{-1}}qij​=∑k=l​(1+∣∣yk​−yl​∣∣2)−1(1+∣∣yi​−yj​∣∣2)−1​

3. 优化目标:KL 散度

让高维、低维分布尽量一样:
C=∑i,jpijlog⁡pijqijC=\sum_{i,j}p_{ij}\log\frac{p_{ij}}{q_{ij}}C=∑i,j​pij​logqij​pij​​
用梯度下降不断迭代。


四、t-SNE 最重要参数:perplexity(困惑度)

perplexity 相当于“邻居数”
控制 t-SNE 更关注局部还是全局。

  • 太小:聚成一团乱麻
  • 太大:变成全局结构,聚类不明显
  • 常用:5~50,图像常用 30

五、实战代码:MNIST 手写数字 t-SNE 可视化(可直接运行)

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import fetch_openml
from sklearn.preprocessing import StandardScaler
from openTSNE import TSNE  # 速度更快的 t-SNE
import time

# ====================== 1. 加载 MNIST 数据 ======================
print("加载数据中...")
mnist = fetch_openml('mnist_784', version=1, parser='auto')
X = mnist.data.astype(np.float32)
y = mnist.target

# 取少量数据加速(全量 7 万跑很久)
sample_idx = np.random.choice(len(X), 10000, replace=False)
X = X.iloc[sample_idx]
y = y.iloc[sample_idx]

# ====================== 2. 标准化 ======================
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# ====================== 3. t-SNE 降维 ======================
print("开始 t-SNE 降维...")
start = time.time()

tsne = TSNE(
    n_components=2,
    perplexity=30,
    learning_rate=200,
    n_iter=1000,
    n_jobs=-1,
    random_state=42
)

X_tsne = tsne.fit(X_scaled)
end = time.time()
print(f"完成!耗时:{end-start:.2f}s")

# ====================== 4. 画图 ======================
plt.figure(figsize=(14, 10))
sns.scatterplot(
    x=X_tsne[:, 0], y=X_tsne[:, 1],
    hue=y.astype(int),
    palette='bright',
    s=8,
    alpha=0.8
)
plt.title("t-SNE on MNIST 手写数字可视化", fontsize=16)
plt.legend(title='数字', bbox_to_anchor=(1, 1))
plt.tight_layout()
plt.show()

效果说明

  • 同类数字形成清晰的团簇
  • 不同数字几乎完全分开
  • 这就是 t-SNE 的强大之处

六、t-SNE 优点(面试必背)

✅ 优点

  1. 可视化效果最好,聚类清晰、干净漂亮
  2. 完美处理非线性数据,瑞士卷、环形、图像都能搞定
  3. 抗噪声能力强,不容易被异常点带偏
  4. 局部结构保留极强,同类样本高度聚集

❌ 缺点

  1. 计算超级慢,大数据要加速(openTSNE / MulticoreTSNE)
  2. 不保留全局结构,不能用来做分类输入
  3. 参数敏感,perplexity 要调
  4. 只能可视化,几乎不用来做特征训练

七、t-SNE 与 PCA、UMAP 对比(最清晰)

算法类型全局结构局部聚类速度用途
PCA线性好差快降维、去冗余
t-SNE非线性差极好慢可视化
UMAP非线性好好中可视化+降维

八、什么时候用 t-SNE?

✅ 必须用 t-SNE

  • 你要画高维数据分布图
  • 做特征可视化、聚类验证
  • 图像、文本、embedding 展示
  • 论文画图、报告展示

❌ 不要用 t-SNE

  • 作为模型输入特征(用 PCA/UMAP)
  • 超大规模数据(万级以上优先 UMAP)
  • 需要保留全局距离

九、t-SNE 使用技巧(实战必看)

  1. 先 PCA 预降维(高维数据先降到 50 维再 t-SNE)
  2. perplexity 设 30 左右
  3. 数据必须标准化
  4. 样本数 > 1 万,用 openTSNE
  5. 结果随机初始化,每次跑图会不一样,但聚类结构不变

十、总结(一句话记住 t-SNE)

t-SNE 是机器学习可视化最强神器,专门把高维数据画成漂亮的聚类图,只关注局部邻居、不保留全局结构,是做图像、文本、深度特征可视化的首选算法。

t-SNE 可视化 背景 t-SNE(t-Distributed Stochastic Neighbor Embedding)是一种非常流行的非线性降维技术,主要用来对高维数据进行可视化,了解和验证数据或者模型。t-SNE属于流行学习(manifold learning),假设数据是均匀采样于一个高维欧氏空间中的低维流形,流形学习就是从高维采样数据中恢复低维流形结构,即找到高维空间中的低维流形,并求出相应的嵌入映射,... 阅读详情

相关推荐

降维算法之t-SNE (t-Distributed Stochastic Neighbor Embedding)

在t-SNE算法中,高维空间的相似度是通过高斯(正态)分布计算的,而低维空间的相似度是通过t分布(具体来说是自由度为1的t分布,也叫做柯西分布)计算的。– 输入:这里的输入是低维空间中的点的坐标(初始通常是随机的),我们通过梯度下降来更 新这些坐标,使得低维空间中的相似度矩阵 Q 接近高维空间的相似度矩阵 P。– 标签: 在这个优化问题中,我们可以将高维空间中的点的相似度 P 视作是“标签”,因为我们 的目标是使低维空间中的点的相似度 Q 尽可能地接近 P。我们可以考虑一个更复杂的例子。

极光喵的博客 6857

t-SNE完整笔记

t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法,是由 Laurens van der Maaten 和 Geoffrey Hinton在08年提出来。此外,t-SNE 是一种非线性降维算法,非常适用于高维数据降维到2维或者3维,进行可视化。t-SNE是由SNE(Stochastic Neighbor Embeddin

This is bill的专属博客 1万+

机器学习笔记 - 什么是t-SNE?

t-SNE 与 PCA 的不同之处在于仅保留小的成对距离或局部相似性,而 PCA 关注的是保留大的成对距离以最大化方差。Laurens 使用图1 中的 Swiss Roll 数据集很好地说明了 PCA 和 t-SNE 方法。您可以看到,由于这个玩具数据集(流形)的非线性和保留较大的距离,PCA 会错误地保留数据的结构。

学以致用 知行合一 6815

实用篇 | T-SNE可视化工具详情及代码示例

TSNE,降维方法之一。在简要说明之后,让我们举一个如何在Python中实际使用T-SNE的例子。降维在机器学习中非常重要。这是因为如果使用高维数据创建模型,则很容易欠拟合。换句话说,有太多无用的数据需要学习。您可以通过从各种数据中仅选择最重要的数据在模型中使用它,也可以使用多个数据创建新数据并使其低维。无论如何,有必要将此类高维数据转换为低维数据。这称为降维。(还有其他方法可以创建要素,例如“特征消除”和“特征选择”。

weixin_44649780的博客 2万+

DELL SC存储扩容避坑指南:6Gb vs 12Gb扩展柜混插的真相

本文深入解析DELL SC存储扩容中6Gb与12Gb扩展柜混插的核心规则与性能影响。文章指出,从SCOS 7.3版本起允许混插,但整个SAS环路速率将降至最低设备水平,尤其在12Gb控制器上接入6Gb扩展柜会严重拖累性能。指南提供了清晰的兼容性矩阵、实战操作流程及关键避坑清单,帮助管理员安全、高效地完成存储扩容。

weixin_28314575的博客 461

使用libx265对YUV进行h265编码

使用libx265对YUV进行h265编码

Embedded engineer 3081

机器学习最强通用降维:UMAP 超通俗完整版

UMAP是一种强大的降维和可视化算法,完美结合了t-SNE的聚类效果和PCA的速度优势。文章用通俗语言和实例讲解UMAP的核心原理、参数调优和实战应用。UMAP通过拓扑学和流形假设,能快速将高维数据降维到2D/3D,同时保留局部聚类和全局结构。相比t-SNE,UMAP速度快5-20倍,支持大数据集和多种距离度量,既可用于可视化,也能直接作为模型输入特征。文章提供了MNIST手写数字降维的完整代码示例,并总结了UMAP的优缺点、适用场景和调参技巧,是机器学习领域最全能的降维工具之一。

DeepModel的博客 1583

机械工程师如何用Codex实现CAD自动化:从重复劳动到智能设计

在机械设计领域,CAD二次开发长期面临学习门槛高、维护成本大的难题。随着AI编程助手如Codex的出现,通过自然语言生成可执行代码,工程师无需精通编程即可实现图纸批量处理、BOM表自动生成、参数化建模等任务。这种技术将重复性操作自动化,显著提升设计效率,让工程师聚焦于核心创新。应用场景涵盖批量修改图纸属性、跨软件数据流转、自动打印等。本文分享机械工程师利用Codex落地自动化的实战经验与避坑指南。

weixin_32296621的博客 368

51c深度学习~合集8

方法的完整数学描述略显复杂,如果只是想了解主要思想,可以只看上面 PatchMix的流程图即可(其实只是公式多,每个公式也不复杂,后续有机会做个演示动画,帮助大家理解。这个方法也可以用简单的 Mask 方法实现,但是本方法在大规模图像处理上效率是最高的),对该工作感兴趣的同行可以看一下,我尽量写得清楚一些。结合 PatMix 的流程图,主要过程如下:由于混合图像和混合图像之间,重叠比例的不同,mix-to-mix label 中每一项的权重分数是不同的,根据上图,可以得到权重系数可以表示为。

whaosoft~aiotの开发板商城 2966

简单说说Python中的pip如何换源

【安装包】:pip install 【升级包】:pip install --upgrade 【卸载包】:pip uninstall 【查看已安装的包】:pip list【搜索包】:pip search (注意:pip search功能在pip 10.0.0之后被弃用,建议使用其他方式搜索包,如访问PyPI官网或使用其他搜索引擎)

一捌柒的博客 2669

赛灵思Xilinx 7系列FPGA硬件设计知识总结

本文讲述了赛灵思7系列FPGA硬件设计的关键点,为使用该系列FPGA提供硬件设计参考。

csdn_dsw的博客 3625

深入解析t-SNE:原理、算法与应用

计算高维空间的相似度及概率矩阵首先,t-SNE 通过计算高维空间中每对数据点之间的相似度,构建了一个相似度矩阵。通常使用高斯核函数来计算这些相似度,并通过“困惑度”参数调整相似度的宽度。然后,将这个相似度矩阵转化为条件概率 pj∣i​,这些概率反映了高维空间中点之间的相似性。经过对称化处理后,得到高维空间的相似度概率矩阵 P。

qq_59349063的博客 5021

cJSON库用完后内存泄漏?手把手教你正确使用cJSON_Delete和free释放资源

本文深入解析cJSON库的内存管理机制,重点解决使用后的内存泄漏问题。通过详细讲解cJSON_Delete和free的正确使用方法,帮助开发者在处理JSON数据时有效释放资源,避免内存泄漏。特别适用于嵌入式系统和资源受限环境,提升开发效率和系统稳定性。

weixin_30808693的博客 421

t-SNE算法详解

前言 此处只作为自己学习理解的笔记之用,转载于https://blog.youkuaiyun.com/sinat_20177327/article/details/80298645 t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法,是由 Laurens van der Maaten 和 Geoffrey Hinton在 08 年提出来。t-SNE 是一种非线性降维算法,非常适用于高维数据降维到 2 维或者 3 维,进行可视化。在实际应用中,

qq_44015059的博客 4万+

拼多多笔试真题-多多送快递(C++/Py/Java /Js/Go)

拼多多技术岗笔试 8月2号真题,拼多多笔试第三题【多多送快递】,提供详细思路讲解以及Java、C++、Python、Go、JavaScript多语言代码实现。拼多多笔试真题【多多送快递】多语言题解。

qq_45776114的博客 296

YOLOv8 | 代码逐行解析(二) | 从yaml文件到模型定义(代码逐行注释,小白必看)

本文给大家带来的是YOLOv8项目的解读,之前给大家分析了YOLOv8的项目文件分析,这一篇文章给大家带来的是模型训练从我们的yaml文件定义到模型的定义部分的讲解,我们一般只知道如何去训练模型,和配置yaml文件,但是对于yaml文件是如何输入到模型里,模型如何将yaml文件解析出来的确是不知道的,本文的内容接上一篇的代码逐行解析(一) 项目目录分析,本文对于小白来说非常友好,非常推荐大家进行阅读,深度的了解模型的工作原理已经流程,下面我们从yaml文件来讲解。

Snu77的博客 1万+

【归纳总结】如何利用t-SNE可视化高维数据样本?附Python代码

t-SNE(t-Distributed Stochastic Neighbor Embedding)是一种非线性降维和可视化技术,用于将高维数据映射到低维空间,以便更好地理解和分析数据。它在机器学习和数据可视化领域被广泛使用。t-SNE是由Laurens van der Maaten和Geoffrey Hinton于2008年提出的,它在原始高维空间中的样本之间创建了一种概率模型,并在低维空间中的样本之间创建了另一种概率模型。它通过最小化原始空间和低维空间中样本之间的差异来实现降维。

坊间小木匠的博客 1万+

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

t-SNE算法

t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法,是由 Laurens van der Maaten 和 Geoffrey Hinton在 08 年提出来。t-SNE 是一种非线性降维算法,非常适用于高维数据降维到 2 维或者 3 维,进行可视化。在实际应用中,t-SNE很少用于降维,主要用于可视化,可能的原因有以下几...

CongliYin的博客 3万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

【机器学习】机器学习的基本分类-无监督学习-t-SNE(t-分布随机邻域嵌入)

t-SNE(t-distributed Stochastic Neighbor Embedding)是一种用于降维的非线性技术,常用于高维数据的可视化。它特别适合展示高维数据在二维或三维空间中的分布结构,同时能够很好地保留局部邻域关系。t-SNE 是一种强大的非线性降维工具,广泛应用于高维数据分析和可视化。尽管存在一些缺点,但通过合理调参和改进版本的使用,它依然是数据科学的重要工具。

IT古董 2626

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

T-SNE简介

Q:什么是T-SNE,为什么可视化词向量的时候不使⽤PCA, ⽽使⽤TSNE? t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法,是由 Laurens van der Maaten 和 Geoffrey Hinton在 08 年提出来。t-SNE 是一种非线性降维算法,非常适用于高维数据降维到 2 维或者 3 维,进行...

weixin_42936560的博客 3248

t-SNE概述

t-SNE是在词向量降维中广泛使用的算法, 它的思路很简单, 假设N个词的词向量分布在空间中, 1.设置一N×N的相似度矩阵, 通过某种计算词与词之间相似度的方法进行填充, 理想情况下这个矩阵就包含了所有词语之间的空间关系. 2.在一个低维空间中随机初始化那N个词的位置, 计算词与词之间的相似度, 与矩阵的相似度比较, 并调整其位置使相似度接近, 直至相似度一致. ...

我的备忘录 1069

降维方法——t_SNE原理及python代码详解

t_SNE原理和公式,有python代码,把手写数字数据集降为二维

m0_51870122的博客 6067

t-SNE

t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法,是由 Laurens van der Maaten 和 Geoffrey Hinton在08年提出来。此外,t-SNE 是一种非线性降维算法,非常适用于高维数据降维到2维或者3维,进行可视化。 t-SNE是由SNE(Stochastic Neighbor Embedding, SNE; Hinton and Roweis, 2002)发展而来。我们先介绍SNE的基本原理,之后再

Chenzhinan1219的博客 1640

TSNE—聚类结果可视化

文章目录一、TSNE参数解析   TSNE的定位是高维数据可视化。对于聚类来说,输入的特征维数是高维的(大于三维),一般难以直接以原特征对聚类结果进行展示。而TSNE提供了一种有效的数据降维模式,是一种非线性降维算法,让我们可以在2维或者3维的空间里展示聚类结果。 一、TSNE参数解析   t-SNE是一个可视化高维数据的工具。它将数据点之间的相似性转换为联合概率,并试图最小化低维嵌入数据和高维数据联合概率之间的KL散度。t-SNE具有非凸的代价函数,即不同的初始化可以得到不同的结果。 class skle

柳杰的博客 5万+

t-SNE降维可视化

目录 1.高斯分布: 2.卡方分布: 3.t分布 4.t-SNE(t-Distributed Stochastic Neighbor Embedding) (1)在高维空间构建一个概率分布拟合高维样本点间的相对位置关系。 (2)在低维空间,也构建一个概率分布,拟合低维样本点之间的位置关系。 5.SNE的缺点以及解决措施 1.高斯分布: 2.卡方分布: 若n个相互独立的随机变量, 均服从标准正态分布(独立同分布于标准正态分布),...

weixin_45104951的博客 2129

【降维】t-SNE

t-SNE(t-distributed Stochastic Neighbor Embedding)是一种非线性降维技术,由Laurens van der Maaten和Geoffrey Hinton于2008年提出,主要用于高维数据的可视化和聚类分析。

wwl412095144的博客 2130
上一篇: 机器学习降维:因子分析(Factor Analysis)通俗完整版
下一篇: 机器学习最强通用降维:UMAP 超通俗完整版
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值