机器学习降维核心:奇异值分解 SVD

【机器学习算法】奇异值分解(SVD) SVD分解的原理及其在图像处理中的应用 阅读详情

机器学习降维核心:奇异值分解 SVD(超通俗完整版)

在机器学习里,SVD(奇异值分解) 是所有线性降维的数学底层。PCA、LDA、数据压缩、去噪、推荐系统……背后全是 SVD 在撑着。

它最厉害的地方:不管什么矩阵,都能拆成 3 个干净矩阵,还能自动按重要性排序,是机器学习最通用、最稳定的数学工具。

这篇文章用大白话 + 公式拆解 + 可视化代码 + 面试总结,把 SVD 讲得通透易懂,本科生、研究生都能轻松掌握。


一、先看懂:SVD 到底是什么?

1. 一句话理解 SVD

把任意一个复杂矩阵,拆成:旋转 → 拉伸 → 再旋转
只保留最重要的部分,就能实现降维、压缩、去噪。

2. 超通俗例子

你有一张模糊的数字图片:

  • SVD 先把它“摆正”(旋转)
  • 按重要程度拉伸(奇异值)
  • 再旋转回去
  • 只保留前几个最重要的分量,就能还原大部分信息

3. SVD 最核心公式(必须记住)

任意矩阵 AAA 都能分解:
Am×n=Um×m Σm×n Vn×nTA_{m×n} = U_{m×m} \ \Sigma_{m×n} \ V_{n×n}^TAm×n​=Um×m​ Σm×n​ Vn×nT​

  • UUU:左奇异矩阵(行方向正交)
  • Σ\SigmaΣ:奇异值对角阵(从大到小,代表重要性)
  • VVV:右奇异矩阵(列方向正交)

二、SVD 三大关键概念(极简版)

1. 奇异值 σ\sigmaσ

  • 越大 = 这个方向信息越重要
  • 越小 = 越接近噪声
  • 自动从大到小排好,不用你排序

2. 截断 SVD(降维的关键)

只保留前 k 个最大奇异值,剩下的直接丢掉:
A≈Uk Σk VkTA \approx U_k \ \Sigma_k \ V_k^TA≈Uk​ Σk​ VkT​

这就是最优低秩近似,误差最小。

3. SVD 与 PCA 的关系

PCA = 对数据协方差矩阵做特征分解 = 本质就是 SVD
所以 PCA 能做的,SVD 全能做,而且更稳。


三、SVD 数学原理(看得懂版)

1. 怎么求 SVD?(步骤超清晰)

  1. 算 ATAA^T AATA,特征分解得到 VVV 和特征值 λ\lambdaλ
  2. 奇异值 = 特征值开根号:σ=λ\sigma = \sqrt{\lambda}σ=λ​
  3. 用 ui=1σiAviu_i = \frac{1}{\sigma_i} A v_iui​=σi​1​Avi​ 算出 UUU
  4. 组合起来:A=UΣVTA = U\Sigma V^TA=UΣVT

2. 几何意义(超直观)

SVD 把一个矩阵变换拆成 3 步:

  1. VTV^TVT:旋转输入向量
  2. Σ\SigmaΣ:按奇异值拉伸/压缩
  3. UUU:再次旋转到输出空间

一句话:
把扭曲的变换,拆成干净的旋转+拉伸。


四、SVD 标准算法流程(背诵版)

输入:矩阵 AAA,保留维度 k

  1. 对 AAA 做 SVD 分解,得到U,Σ,VTU, \Sigma, V^TU,Σ,VT
  2. 取前 k 列:Uk,Σk,VkTU_k, \Sigma_k, V_k^TUk​,Σk​,VkT​
  3. 降维结果:Xreduced=A VkX_{\text{reduced}} = A \ V_kXreduced​=A Vk​
  4. 重构:Ak=UkΣkVkTA_k = U_k \Sigma_k V_k^TAk​=Uk​Σk​VkT​
    输出:低维数据 / 压缩后数据

五、实战代码:手写数字 SVD 降维(可直接运行)

用经典 digits 手写数字数据集,完整演示:
奇异值谱、重构效果、误差曲线、累计能量、速度对比。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
from sklearn.decomposition import TruncatedSVD
import time

# ====================== 1. 加载数据 ======================
digits = load_digits()
data = digits.data  # (1797, 64)
subset = data[:200]

# ====================== 2. 执行 SVD ======================
U, S, Vt = np.linalg.svd(subset, full_matrices=False)

# ====================== 3. 绘制奇异值谱 ======================
plt.figure(figsize=(8,4))
plt.plot(S, 'o-', color='magenta')
plt.title('奇异值分布(越前越重要)')
plt.xlabel('分量序号')
plt.ylabel('奇异值大小')
plt.grid(True)
plt.show()

# ====================== 4. 不同 k 重构图像 ======================
k_list = [5, 15, 30]
fig, axes = plt.subplots(len(k_list)+1, 5, figsize=(12,8))

# 原始图
for j in range(5):
    axes[0,j].imshow(subset[j].reshape(8,8), cmap='hot')
    axes[0,j].set_title('Original')
    axes[0,j].axis('off')

# 不同 k 重构
for i,k in enumerate(k_list):
    recon = U[:,:k] @ np.diag(S[:k]) @ Vt[:k,:]
    for j in range(5):
        axes[i+1,j].imshow(recon[j].reshape(8,8), cmap='hot')
        axes[i+1,j].set_title(f'k={k}')
        axes[i+1,j].axis('off')

plt.suptitle('不同 k 值重构效果')
plt.tight_layout()
plt.show()

# ====================== 5. 重构误差曲线 ======================
ks = range(1,65,2)
errors = []
for k in ks:
    recon = U[:,:k] @ np.diag(S[:k]) @ Vt[:k,:]
    err = np.linalg.norm(subset - recon, 'fro')
    errors.append(err)

plt.figure(figsize=(8,4))
plt.plot(ks, errors, 'o-', color='cyan')
plt.title('重构误差随 k 变化')
plt.xlabel('k')
plt.ylabel('误差')
plt.grid(True)
plt.show()

# ====================== 6. 累计能量曲线 ======================
energy = np.cumsum(S**2) / np.sum(S**2)
plt.figure(figsize=(8,4))
plt.plot(range(1,len(energy)+1), energy, 'o-', color='orange')
plt.axhline(0.9, color='r', linestyle='--', label='90% 能量')
plt.title('累计信息保留比例')
plt.xlabel('分量数')
plt.ylabel('累计能量')
plt.legend()
plt.grid(True)
plt.show()

运行结果说明

  • 奇异值前几个最大,后面快速下降
  • k=15 就能看清数字
  • k=30 几乎完美还原
  • 前 10 个分量就能保留 90%+ 信息

六、SVD 优缺点(面试高频)

✅ 优点

  1. 通用无敌:任意矩阵(方阵/矩形/奇异)都能分解
  2. 最优近似:同样 k 下,SVD 重构误差最小
  3. 数值稳定:比特征分解更稳,不爆炸
  4. 信息可量化:奇异值=重要性,能量曲线一目了然
  5. 底层支撑:PCA、LDA、推荐系统、去噪全靠它

❌ 缺点

  1. 全量 SVD 计算慢:大数据吃不消
  2. 只能线性:搞不定非线性流形(瑞士卷这类)
  3. 结果可解释性一般:奇异向量有正负,不好解释物理意义
  4. 稀疏数据不友好:会变稠密,占内存

七、SVD vs 常见降维/分解算法

算法类型非线性最优性适用场景
SVD线性分解❌✅ 最优通用降维、压缩、去噪
PCA线性降维❌✅ 等价SVD特征去冗余、可视化
NMF非负分解❌❌ 近似文本主题、图像部件
核PCA非线性✅❌环形/双月非线性数据
UMAP非线性✅❌大数据可视化

八、什么时候用 SVD?什么时候不用?

✅ 推荐用 SVD

  • 需要严格数学最优降维/压缩
  • 数据是线性结构
  • 中等规模数据(行列 < 5000)
  • 图像/信号去噪、推荐系统、特征提取

❌ 不推荐用 SVD

  • 数据超大规模/稀疏(文本TF-IDF)→ 用截断SVD/随机SVD
  • 数据是非线性流形 → 用 UMAP/核PCA
  • 需要非负、可解释分量 → 用 NMF

九、SVD 实战必知技巧

  1. 优先用截断 SVD,不用全量分解
  2. 用累计能量 90%~95% 自动选 k
  3. 稀疏/超高维用 randomized SVD 加速
  4. 数据先中心化再做 SVD(效果更接近PCA)
  5. 图像/信号去噪:丢小奇异值 = 去噪声

十、总结(一句话记住 SVD)

SVD 是机器学习最底层的线性分解工具,能把任意矩阵拆成正交+奇异值排序,实现最优降维、压缩与去噪,是 PCA、推荐系统、数据分析的数学基石。

推荐算法之SVD算法 目录 特征值与奇异值 1)特征值 2)奇异值 推荐系统中的SVD算法 SVD算法优缺点 通过SVD对数据的处理,我们可以使用小得多的数据集来表示原始数据集,这样做实际上是去除了噪声和冗余信息,以此达到了优化数据、提高结果的目的。 隐形语义索引:最早的SVD应用之一就是信息检索,我们称利用SVD的方法为隐性语义检索(LSI)或隐形语义分析(LSA)。 推荐系统:SVD的另一个应用就是... 阅读详情

相关推荐

降维算法之奇异值分解 (Singular Value Decomposition, SVD)

在标准 SVD 中,我们会计算所有的奇异值和奇异向量,但在截断 SVD 中,我们仅计算和保留前 k 个最大的奇异值及其对应的奇异向量。较大的奇异值意味着相应的左、右奇异向量更能够捕捉到数据的主要结构和模式,而较小的奇异值通常对应于数据的次要特征或噪声。保留较大的奇异值通常意味着保留了数据中的主要成分,而忽略了较小的奇异值有助于滤除噪声和不重要的成分。通过保留较大的奇异值及其对应的奇异向量,我们能够提取出数据的主要特征,同时去除噪声和不重要的信息,从而实现数据的降维、压缩和特征提取。

极光喵的博客 5230

SVD算法

SVD算法 以下内容来源于参考文献,仅供学习交流 一、什么是SVD算法 奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。是很多机器学习算法的基石 二、SVD算法的应用 隐形语义索引:最早的SVD应用之一就是信息检索,我们称利用SVD的方法为隐性语义检索(LSI)或隐形语义分析(LSA)。 基于SVD的图像压缩、基于协同过滤的推荐引擎、利用SVD简化数据 可应用

weixin_54277047的博客 1万+

机器学习工程师的向量空间生存指南:12个关键线性代数概念

向量空间是机器学习模型运行的底层数学舞台,其核心在于理解数据如何被表示、变换与约束。线性变换、矩阵乘法、秩与奇异值等概念,共同构成了特征工程、模型训练与调试的理论根基。它们决定了PyTorch中torch.matmul的维度对齐逻辑、StandardScaler的几何意义、PCA降维的方向选择,以及LinearRegression报错‘Singular matrix’的根本原因。掌握这些概念,不是为了推导定理,而是为了解释梯度爆炸为何与特征共线性相关、BatchNorm为何能稳定训练、Transformer

weixin_30998797的博客 349

SVD,奇异值分解的计算步骤以及实例讲解

奇异值分解(singular value decomposition,SVD),已经成为矩阵计算中最有用和最有效的工具之一,并且在最小二乘问题、最优化、统计分析、信号与图像处理、系统理论与控制等领域得到广泛应用。 首先我们都知道方阵是可以特征值分解的,那么问题来了,如果矩阵不是一个方阵那么它还可以分解吗?是可以的,就是我们正在介绍的奇异值分解。 那么,开冲! 下面介绍方法,记住任何一个矩阵A都可以分解成以下形式(别问为什么,我看了证明的,头大,太难了) ...

qq_56780627的博客 3万+

大模型面试题6:通俗易懂讲解SVD奇异值分解

A = UΣVᵀ矩阵维度核心性质通俗理解U(左奇异向量矩阵)M×M列向量两两正交(UᵀU = I,I为M阶单位矩阵)描述矩阵A“行空间”的核心方向(比如车载图像的行像素特征方向)Σ(奇异值对角矩阵)M×N仅对角线有非零值(奇异值σ₁≥σ₂≥…≥σ_k≥0,k=min(M,N)),其余元素为0矩阵A在对应“方向”上的“缩放强度”(类似特征值的作用)V(右奇异向量矩阵)N×N列向量两两正交(VᵀV = I,I为N阶单位矩阵)

叫好与叫座虽然不是对立面,但想在同一个作品中达到双重效果很难。 1323

量子计算下的矩阵革命:当“满秩”遇上指数级加速

量子计算颠覆了经典矩阵运算的规则:量子计算机处理的酉矩阵必须是满秩的,无法像经典AI那样进行降维压缩,而是通过量子叠加态同时探索所有可能性。HHL算法将线性方程求解时间降至对数级,量子SVD能高效处理高维矩阵。量子神经网络采用混合策略,量子部分负责线性特征提取,经典部分处理非线性优化。未来,经典与量子计算将协同互补,后者尤其擅长从物理底层寻找最优解。费曼的名言揭示了量子力学模拟自然的优势,这些特性都编码在酉矩阵的数学结构中。

数字人生 166

Amazon ML Summer School 2026 | Module 3 降维技术详解:PCA、SVD 与自编码器一次讲透

本文带你吃透 Amazon ML Summer School 2026 课程中最重要的 **Module 3 降维技术**:为什么高维数据会让模型变慢变笨?PCA、SVD、矩阵分解和自编码器(Autoencoder)到底该怎么选?本文基于仓库内的官方课程总结 [AMSS 2025/MODULE3.md](https://link.gitcode.com/i/de0626c29305a172349e

gitblog_00971的博客 162

【机器学习】必会降维算法之:奇异值分解(SVD)

必会降维算法之:奇异值分解(SVD)

商务合作 | 面试培训 | 职场规划 ==>主页扫码 3246

机器学习SVD

代码验证:np.allclose(A, u[:,:2]*s @ vt) 为 True,说明可重构回原矩阵。矩阵压缩、降噪、推荐系统(评分矩阵分解)、潜在语义分析(LSA)、求解病态线性方程等。把 test.jpg 读成数组,形状一般为 (高, 宽, 3)(RGB 三通道)。个奇异值逐步重构,生成 svd_1.jpg …是把任意矩阵拆成三个特殊矩阵乘积的工具,常用于降维、压缩、推荐等。大奇异值对应主要结构,截断后可近似原矩阵,实现压缩与降维。奇异值对角阵(非负,通常从大到小排)前50个奇异值重构的图,

年轻即出发, 260

机器学习数学基石:Gilbert Strang教你用线性代数贯通SVD、PCA与反向传播

线性代数是机器学习的数学基石,而奇异值分解(SVD)是连接数据降维与优化理论的核心工具。在真实场景中,样本矩阵往往非对称,特征值分解无法直接适用,SVD通过左右奇异向量分别张成行空间和列空间,为PCA降维、图像压缩、潜在语义分析提供了统一而稳定的数学框架。另一方面,深度学习模型的训练依赖随机梯度下降(SGD)与反向传播,其背后的梯度计算本质仍是线性变换与链式法则。理解矩阵分解、特征值、梯度方向等基础概念,能帮助工程师在模型调参、防止过拟合、设计网络结构时做出更理性的决策。本文围绕Gilbert Strang

weixin_29057163的博客 351

Vim 入门到够用:Linux 文本编辑器的三种模式、常用操作与实战技巧

i 进入编辑模式Esc 退出编辑模式回到命令模式: 从命令模式进入底行模式编辑,不一定非得“打开就直接打字”。一旦你接受了“模式”这件事,后面很多操作都会顺起来。学 Vim,不要追求一次学全,先把“命令模式—编辑模式—底行模式”这条主线练熟。只要这条主线通了,后面的复制、删除、搜索、替换,都是顺手补上去的能力。

Web安全工具库 804

奇异值分解SVD从原理到实战:降维、压缩与推荐系统应用

矩阵分解是机器学习与数据处理中的核心数学工具,而奇异值分解(SVD)作为其中最通用的一种,不要求矩阵为方阵,能直接揭示矩阵的内在结构与能量分布。理解SVD的几何本质——旋转、拉伸、再旋转,就能明白它如何被用于主成分分析(PCA)降维、图像有损压缩以及推荐系统中的隐因子挖掘。相比特征值分解,SVD在数值稳定性与内存开销上更具优势,尤其适合处理高维稀疏数据。工程实现时,可通过NumPy快速分解,并结合能量阈值法选择保留的奇异值个数;面对超大规模矩阵,随机SVD与TruncatedSVD提供了高效近似方案。本文从

weixin_29031161的博客 61

泛微ecology9 利用字段值动态控制明细表显示与隐藏

本文详细介绍了在泛微ecology9中,如何利用WfForm.bindFieldChangeEvent监听字段变化,结合jQuery动态控制明细表显示与隐藏的实战方法。通过五步操作,可实现根据字段值(如报销类型)智能切换明细表,提升表单交互体验与开发效率,并确保PC与移动端完美兼容。

7z8x2c4v6b9的博客 585

【DeepLeaning】SVD奇异值分解

SVD奇异值分解

爱喝星冰乐的博客 195

在trae CN中使用conda环境(已解决)

Trae CN 是字节跳动于 2025 年 3 月 3 日发布的国内首个 AI 原生集成开发环境(AI IDE)123。

zwzscnds的博客 6940

RK3568驱动XS9922B:AHD/CVBS双模摄像头兼容性实战

在嵌入式视频开发中,摄像头驱动的稳定性与兼容性往往决定项目交付质量。Linux内核的V4L2框架提供了统一的视频采集抽象,从v4l2_subdev子设备到media controller链路,再到用户态视频节点,每一层都需要精确配置。对于RK3568这类边缘计算平台,其MIPI CSI接口和自研ISP配合RKCIF,构成了完整的多路视频接入通路。当需要接入模拟视频解码芯片时,驱动设计就需同时考虑AHD高清协议与CVBS标清信号的模式切换、格式协商以及寄存器配置。XS9922B作为支持双模输入的解码芯片,可与

weixin_34216614的博客 351

NumPy linalg 模块 7 大核心函数实战:从解方程到SVD分解

本文深入解析NumPy linalg模块的7大核心函数,涵盖从解方程到SVD分解的线性代数实战应用。通过PCA降维案例和图像压缩实例,展示如何高效处理线性代数问题,提升数据科学和机器学习中的计算效率。重点介绍了协方差矩阵计算、特征分解、奇异值分解等关键技术。

weixin_28678151的博客 222

【创作赢红包】Gurobi学术版证书更新与Python环境配置全攻略

本文详细解析了Gurobi学术版证书过期后的完整更新流程与Python环境配置方法。从彻底清理旧版残留、手把手注册获取新许可证,到软件安装、证书激活,最后重点讲解如何将gurobipy接口正确配置到Python的site-packages目录,并提供了常见问题排查方案,帮助用户高效解决证书与配置难题。

efc1234567的博客 615

低秩近似的秘密武器:SVD在机器学习中的实战应用

本文深入探讨了奇异值分解(SVD)在机器学习中的实战应用,包括推荐系统、图像压缩和自然语言处理等领域。通过低秩近似技术,SVD能够有效降维并捕捉数据关键特征,提升模型性能与效率。文章结合具体代码示例,展示了SVD在不同场景下的强大能力与实用技巧。

weixin_30825581的博客 383

第十一届全国大学生GIS应用技能大赛——广西区域发展布局示意图

我们需要制作一幅广西区域发展布局示意图,最终成图参考“数据”文件夹中的广西区域发展布局示意图.png。地图使用的投影坐标系是 Asia_North_Albers_Equal_Area_Conic,其中地理坐标系是China_Geodetic_Coordinate_System_2000,中央经线东经 105°,标准纬线是北纬 25°和北纬 47°,出图比例尺 1:4,780,000。

@HNUSTer的博客 7802

Dify之八添加各种在线大模型

Dify之八添加各种在线大模型

yilvyangguang520的博客 944

奇异值分解(SVD)原理

0 引子 奇异值分解(singular value decomposition,SVD)是一种矩阵因子分解方法,是线性代数的概念。在机器学习中,矩阵分解是常用的手段,作为矩阵分解的经典方法SVD,不仅是经典的数学问题,在工程应用中许多地方也都有它的身影。SVD被广泛应用在推荐系统、图像处理等领域,是一种数据降维的经典方法。 许多数学对象可以通过将它们分解成多个组成部分或者找到它们的一些属性来更好地理解,这些属性是通用的,而不是由我们选择它们的方式所产生的。对应地,我们也可以通过分解矩阵来发现矩阵表示成数组元

哦豁灬 1万+

【Neo4j × Python】基于知识图谱的电影问答系统(含问题记录与解决)附:源代码(含Bug解决)

此前,曾介绍过Neo4j的一些基础知识,本篇将在PyCharm中与Neo4j建立关联,从0到1实现一个基于知识图谱的电影问答系统,实现过程中,没有一帆风顺,而是遇到了一些问题,因此也包含问题的记录与解决。

追光者♂:记录、分享、总结、提升,现象级专栏《Python从入门到人工智能》作者,无惧黑暗,坚信曙光 3168

奇异值分解(SVD)

奇异值分解

qq_45670407的博客 1754

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

《机器学习》 基于SVD的矩阵分解 推导、案例实现

SVD就是奇异值分解。在机器学习中,SVD是一种常用的矩阵分解方法,用于将一个矩阵分解为三个矩阵的乘积。具体来说,对于一个m×n的实数矩阵A,SVD将其分解为以下形式:A = UΣV^T其中,U是一个m×m的正交矩阵Σ是一个m×n的对角矩阵V^T是一个n×n的正交矩阵。Σ的对角线上的元素称为奇异值,表示原始矩阵A在对应的奇异向量方向上的重要程度。2、SVD的应用。

wx_AHao1004Y的博客 2797

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

机器学习算法那些事 | 这是我见过最通俗易懂的SVD(奇异值分解)算法介绍

线性代数是机器学习领域的基础,其中一个最重要的概念是奇异值分解(SVD),本文尽可能简洁的介绍SVD(奇异值分解)算法的基础理解,以及它在现实世界中的应用。

csdn_xmj的博客 1852
上一篇: 机器学习非线性降维:局部线性嵌入 LLE
下一篇: 机器学习降维:因子分析(Factor Analysis)通俗完整版
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值