奇异值分解笔记

已于 2022-03-30 15:42:02 修改
阅读量1.1k 收藏
点赞数
分类专栏： 张量分解 文章标签： 矩阵
于 2022-03-30 15:38:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/FLawiet/article/details/123832732
版权
奇异值分解(SVD)是线性代数中的一个重要概念，将任意实矩阵A分解为正交矩阵U、对角矩阵Σ和正交矩阵V的乘积。SVD在图像处理、数据分析等领域有广泛应用。通过寻找正交基，矩阵A可以表示为最简单的对角形式，其中U的列向量由A的特征向量归一化得到，V的列向量对应A的值域基。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考论文：Kalman D . A Singularly Valuable Decomposition: The SVD of a Matrix[J]. The College Mathematics Journal, 1996, 27(1):2-23.

1. 概述

对于任意实矩阵A_{m\times n}，，对其进行奇异值分解，表示为

A=U\Sigma V^T                                                                                                                  (1)

其中U_{m\times m}和V_{n\times n}是正交矩阵，\Sigma _{m\times n}是对角矩阵，且Σ中的非零元素\sigma _i在Σ 中的排列顺序是递减的，正数被称为A的奇异值，U和V的列向量分别被称为A的左奇异向量和右奇异向量。

为了形象地理解奇异值分解，可以把矩阵A_{m\times n}看做一次线性变换。下面插入讲解矩阵和线性变换之间的关系。

2. 矩阵和线性变换的关系

一个向量可以表示为由一组基向量线性组合而成，例如：

\begin{pmatrix} 2\\ 3 \end{pmatrix}=2\hat{i}+3\hat{j}=2\begin{pmatrix} 1\\ 0 \end{pmatrix} + 3\begin{pmatrix} 0\\ 1 \end{pmatrix}                                                                               (2)

其中\hat{i}=\begin{pmatrix} 1\\ 0 \end{pmatrix}和\hat{j}=\begin{pmatrix} 0\\ 1 \end{pmatrix}就是一组基向量。上面这个式子也可以简化为：

 

最低0.47元/天 解锁文章
奇异值分解（Singular Values Decomposition，SVD）
一个搬运知识的笨小孩
01-30 5278
奇异值分解1.奇异值分解1.1 变换（Transformations）1.2 线性变换（Linear Transformations）1.3 降维（Dimensionality Reduction）1.4 奇异值分解（SVD）1.4.1 如果矩阵AAA是方阵（Square Matrix）1.4.2 如果矩阵AAA是非方阵（Non-Square Matrix）1.5 图像压缩（Image Compression）1.6 如何计算分解的三个矩阵？1.7 联系与区别1.7.1 特征值和特征向量1.7.2 奇异值和
机器学习笔记 - SVD奇异值分解(1)
学以致用 知行合一
04-20 1239
特征分解只能对方阵进行。对于非方阵的矩阵可以使用奇异值分解（SVD）。 使用SVD，您可以将矩阵分解为三个矩阵。我们将这些新矩阵视为空间的子变换。不是在一个动作中进行转换，而是将其分解为三个动作。 最后，我们会将SVD应用于图像处理，看到SVD对示例图像的影响。 我们了解了如何通过旋转或缩放矩阵来转换向量和矩阵。SVD可以看作是将一个复杂变换分解为3个更简单的变换（旋转、缩放、旋转）。
奇异值分解简要笔记
学习，学习，学习
01-18 453
对称矩阵 正交对角化 对称矩阵有非常好的性质——可以正交对角化。 就是说对称矩阵A可以用特征值和特征向量分解成A=PDPTA=PDP^TA=PDPT的形式。 其中D是对角矩阵，对角线上是A的特征值。P的列向量是A的标准正交基。 这个形式很好，P是正交矩阵，对应是正交变换。正交变换保留了内积，所以也就保留了角度和距离。这在分类和聚类里面都是很重要的，因为衡量两个向量相似度就是用角度或者距离。 正交变...
奇异值分解（SVD）学习笔记
bingo_csdn_的博客
09-30 806
在机器学习或数据分析中，有时样本数据会比较大，这样对计算机的内存会有很大的负担。此时，通过一些方法来提取数据中的主要成分，而忽略其中可以忽略不计的成分，将大大减少计算量。本文讲简单介绍奇异值分解（SVD）方法。
奇异值分解和特征值分解
compression的专栏
02-15 676
matlab使用过程中，总会遇到这两种分解方式，而且文献里面有时候完成的目标相同，使用的分解方式确不一样，今天做个小测试，把这两种分解方式弄清楚一些。 clc; clear all; m=3;n=5; P=randn(m,n); P=P*diag(1./sqrt(diag(P'*P))); G=P'*P; [U1 V1]=eig(G) [U2 S2 V2]=svd(G)
机器学习：奇异值分解（SVD）详细讲解
Hanze的博客
11-14 3758
对于矩阵为高纬的情况下，那么这个矩阵就是高维空间下的一个线性变换，可以想像，这个变化也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那就对应了这个矩阵最主要的N个变化方向，我们利用这前N个变化方向，就可以近似这个矩阵（变换）。是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值有大到小排列，这些特征值所对应的特征向量就是描述这个矩阵变化方向，（从主要的变化到次要的变化排序）。一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。
线性代数笔记31——奇异值分解
我是8位的
12-10 1884
　　原文 |https://mp.weixin.qq.com/s/HrN8vno4obF_ey0ifCEvQw 　　奇异值分解（Singular value decomposition）简称SVD，是将矩阵分解为特征值和特征向量的另一种方法。奇异值分解可以将一个比较复杂的矩阵用更小更简单的几个子矩阵相乘来表示，这些小矩阵描述的都是矩阵的重要的特性。奇异值分解在图形降噪、推荐系统中都有很重要的应...
【笔记】奇异值分解&特征值分解通俗易懂
最新发布
m0_53162279的博客
10-12 990
SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵AAA是一个m×nm×nm×n的矩阵，那么我们定义矩阵AAAAUΣVT(6)AUΣVT6其中U是一个m×m的矩阵，\Sigma是一个m×n的矩阵，除了主对角线上的元素以外全是0，主对角线上的元素称为奇异值，V是一个n×n的矩阵。
随机奇异值分解：截断 SVD 的极快计算-matlab开发
06-01
我们经常想计算奇异值分解。 但大多数时候，我们实际上并不需要像主成分分析中那样的所有奇异向量/值。 这也证明了以下事实：在实践中出现的许多矩阵确实表现出某种结构，导致只有少数奇异值实际上是不可忽略的。 ...
数（1）奇异值分解(SVD)原理详解及推导（转）
tybAly的博客
04-12 2270
用SVD可以很容易得到任意矩阵的满秩分解，用满秩分解可以对数据做压缩。可以用SVD来证明对任意M*N的矩阵均存在如下分解（这个可以应用在数据降维压缩上！在数据相关性特别大的情况下存储X和Y矩阵比存储A矩阵占用空间更小！） 正交矩阵 正交矩阵是在欧几里得空间里的叫法，在酉空间里叫酉矩阵，一个正交矩阵对应的变换叫正交变换，这个变换的特点是不改变向量的尺寸和向量间的夹角，那么它到底是个什么样的变换呢？看下面这张图 假设二维空间中的一个向量OA，它在标准坐标系也即e1、e2表示的坐标是中表示为(a...
奇异值分解
android开发笔记
05-26 2001
奇异值分解（SVD, singular value decomposition）是对矩阵最好的分解形式（前面介绍过矩阵的LU分解，对角化分解），它将某个矩阵A分解为正交矩阵（orthogonal matrix），对角矩阵（diagonal matrix）和正交矩阵相乘的形式，A可以是任意类型的矩阵，即任意矩阵都可进行这种奇异值分解。以前曾介绍过矩阵的对角化分解形式为，对于正定矩阵，由于一定满足对称...
Python 数据降噪处理的四种方法——均值滤波、小波变换、奇异值分解、改变binSize
哦豁灬
11-09 5万+
Python 数据降噪处理的四种方法——均值滤波、小波变换、奇异值分解、改变binSize github主页：https://github.com/Taot-chen 一、均值滤波 1）算法思想  给定均值滤波窗口长度，对窗口内数据求均值，作为窗口中心点的数据的值，之后窗口向后滑动1，相邻窗口之间有重叠；边界值不做处理，即两端wid_length//2长度的数据使用原始数据。 2）Python实现 ''' 均值滤波降噪： 函数ava_filter用于单次计算给定窗口长度的均值滤波 函数den
本质矩阵svd分解_GAN 的谱归一化(Spectral Norm)和矩阵的奇异值分解(SVD)
weixin_39977934的博客
12-08 996
在文献 [2] 中作者分析了 GAN [1] 难以训练的原因在于原生 GAN 的目标函数等价于优化生成数据的分布 pgpg 和真实数据的分布 prpr 之间的 J-S 散度 (Jensen–Shannon Divergence)。接着作者提出 WGAN [3]，使用性质优良的 Wasserstein distance 代替原生 GAN 中的 J-S 散度。 然后利用KR对偶原理将 Wasserst...
奇异值、奇异矩阵、SVD分解、正交矩阵
silence1214的专栏
10-17 1万+
奇异值： 奇异值分解法是线性代数中一种重要的矩阵分解法，在信号处理、统计学等领域有重要应用。 定义：设A为m*n阶矩阵，A'表示A的转置矩阵，A'*A的n个特征值的非负平方根叫作A的奇异值。记为σi(A)。 如果把A‘*A的特征值记为λi(A‘*A)，则σi(A)＝sqrt(λi(A’*A))。 奇异矩阵：     奇异矩阵是线性代数的概念，就是对应的行列式等于0的矩阵。奇异矩阵的判断方
奇异值分解(SVD)原理详解及推导
热门推荐
学无常师，负笈不远险阻
01-23 37万+
在网上看到有很多文章介绍SVD的，讲的也都不错，但是感觉还是有需要补充的，特别是关于矩阵和映射之间的对应关系。前段时间看了国外的一篇文章，叫A Singularly Valuable Decomposition The SVD of a Matrix，觉得分析的特别好，把矩阵和空间关系对应了起来。本文就参考了该文并结合矩阵的相关知识把SVD原理梳理一下。 SVD不仅是一个数学问题，在工程应用中的很多地方都有它的身影，比如前面讲的PCA，掌握了SVD原理后再去看PCA那是相当简单的，在推荐系统方面，SV
个人学习笔记（十六）奇异值分解
万carp的博客
07-23 1180
       奇异值分解(singular value decomposition, SVD)是一种矩阵因子分解方法。任意一个m×nm\times nm×n的矩阵都可以表示为三个矩阵的乘积（因子分解）形式，矩阵的奇异值分解一定存在，但不唯一。奇异值分解可以看作是矩阵数据压缩的一种方法，这种近似是平方损失意义下的最优近似。 一、奇异值分解的定义与性质 &nbs...
SVD（奇异值分解）学习笔记
weixin_41690997的博客
03-06 707
奇异值分解物理意义 从几何上，SVD分解就是通过M将一组正交基映射到另一组正交基。 记映射后的向量Mv1为u1,Mv2为u2,Mv1的模为σ1，Mv2的模为σ2。 接下来我们就可以推导了： （类似于特征值特征向量的表达式） 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的特征向量组成的矩阵，...
【SVD】奇异值分解 -- 学习笔记
萝卜丝儿皮尔
03-07 1815
参考资料：数值分析 若A为Hermite阵， 可用-酉相似变换-将其化为对角形式：Q∗AQ=ΛQ^{*}AQ=\LambdaQ∗AQ=Λ，即得到谱分解，也就是特征值分解； 谱分解保持矩阵的秩和特征值不变。 若A非Hermite阵， 可用-初等变换-化为比较简单的对角形式， A=P[I000]QA=P\begin{bmatrix}I&0\\0&0\end{bmatrix}QA...
数据预处理的几个方法：白化、去均值、归一化、PCA
GZKPeng的博客
12-01 3万+
以上转载自：http://ufldl.stanford.edu/wiki/index.php/%E7%99%BD%E5%8C%96 假定数据表示成矩阵为X，其中我们假定X是[N*D]维矩阵(N是样本数据量，D为单张图片的数据向量长度)。 去均值，这是最常见的图片数据预处理，简单说来，它做的事情就是，对待训练的每一张图片的特征，都减去全部训练集图片的特征均值，这么做的直观意义就是，我们把输入数据
奇异值分解去躁python
07-28
奇异值分解（Singular Value Decomposition，SVD）是一种矩阵分解的方法，可以将一个矩阵分解为三个矩阵的乘积，即A = USV^T。其中，U和V是正交矩阵，S是对角矩阵，对角线上的元素称为奇异值。奇异值分解在数据降维...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值