【机器学习】 特征值分解、奇异值分解与PCA的原理

原创 已于 2022-06-10 17:46:22 修改 · 1.2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #PCA #主成分分析 #奇异值分解SVD #特征值分解EVD

于 2019-05-21 11:47:32 首次发布
本文深入探讨PCA（主成分分析）的原理，通过特征值分解（EVD）降低数据维度，强调正交变换在寻找不相关变量中的作用。同时，文章拓展讨论EVD和奇异值分解（SVD）的区别，指出SVD在处理非方阵时的优势，并在PCA中常用SVD来实现。

1、PCA的原理

C是X的协方差矩阵，R是Y的协方差矩阵，二者都是一个对称矩阵 协方差矩阵的对角线以外的值都是n维变量各分量之间的相关性的度量值，当值为0时表示两个分量无关，即相互独立，此时我们得到的变量具有很好的统计特性，便于处理，即我们的目标是找到正交矩阵P使下式成立

即对C进行相似对角化处理，生成对角矩阵R

根据对称矩阵的性质可知，一定存在对角阵与C正交相似

此时，

  • 对角矩阵R是矩阵C的对应特征值组成的对角阵，
  • 变换矩阵Q是C的特征值对应的正交化的特征向量组。

特征值分解(EVD)步骤

  • 求特征值
<
最低0.47元/天 解锁文章
机器学习—数据压缩(PCA)—特征值分解、奇异值分解+代码理解
柳成荫
08-05 3480
一、特征值 1、特征值分解 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式子 ： Av = λv 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中W是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵...
机器学习知识点(十九)矩阵特征值分解基础知识及Java实现
医疗影像检索
03-29 4338
1、特征值基础知识 矩阵乘法Y=AB的数学意义在于变换，以其中一个向量A为中心，则B的作用主要是使A发生伸缩或旋转变换。一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：     这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特
pca（特征值分解）
06-06
利用特征值分解做的主成分分析（借鉴他人的）
特征值分解与奇异值分解原理与计算
Little_Fire的博客
05-25 8417
（一）特征值如果一个非零向量v是方阵A的特征向量，将一定可以表示成下面形式，而λ是特征向量v对应的特征值：特征值分解是将一个矩阵分解成下面的形式：其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。一个矩阵的一组特征向量是一组正交向量。【练习题】求解矩阵A的特征值与特征向量。方阵的特征值表示什么含义呢，我们通过一组向量图表示。初始状态下，i（红色）和j（蓝色...
特征值分解原理及实战
goTsHgo的博客
11-11 1784
特征值分解（Eigenvalue Decomposition）是线性代数中的一种重要技术，用于分析矩阵的内在属性。这种分解方法主要适用于方阵（即行数和列数相等的矩阵），用于将矩阵分解为其特征向量和特征值。
PCA算法的数学知识---特征值分解和奇异值分解
06-28
"PCA算法的数学知识---特征值分解和奇异值分解" PCA算法的数学知识是Machine Learning和数据分析中非常重要的一部分，这个知识点包括特征值分解和奇异值分解两个方面。 特征值分解 在机器学习和数据分析中，特征...
线性代数中奇异值分解与特征值分解的理论及其在大模型中的应用解析
最新发布
05-24
内容概要：文章详细介绍了奇异值分解（SVD）和特征值分解（EVD）的定义、公式、核心区别及其在大模型中的应用。EVD仅适用于方阵，将矩阵分解为特征值和特征向量的组合，揭示矩阵的缩放、旋转特性；SVD适用于任意矩阵...
特征值分解与奇异值分解
12-06
特征值分解与奇异值分解作为线性代数中的核心概念，在多个领域内扮演着关键角色，尤其是在数据分析与机器学习领域。本文将深入探讨这两种分解方法的基础知识、数学含义及其应用场景。 #### 一、奇异值与特征值基础...
【机器学习】主成分分析（PCA）——利用特征值分解（EVD）（理论+图解+公式推导）
优快云 精品推荐
08-14 2297
文章目录一、概述二、需要的数学知识1.对称矩阵特性2.实对称矩阵的对角化3.标准正交的特征向量4.实对称矩阵的正定性5.期望与方差6.协方差与协方差矩阵三、特征值分解（EVD）1.降维思路2.联系协方差矩阵3.寻找新的基P来进行映射4.计算信息损失5.推广到n为数据特征 欢迎回到机器学习编程系列。在这篇文章中，我们将通过讲解特征值分解来达到PCA主成分降维操作。废话不多说，我们开始吧。 一、概述 在实际生活中，我们获得数据维度会非常大，有时维度可能超过几千个，这是因为针对于一件事物，我们获得它的特征属性越
特征值分解（Eigen Value Decomposition，EVD）、奇异值分解（Singular Value Decomposition，SVD）原理、公式推导及应用
CCC的专栏
04-30 1万+
==
PCA的本质----特征值分解
热门推荐
Sunshine_in_Moon的专栏
05-27 2万+
相信大家对PCA并不陌生，但是PCA的本质你是否了解呢？今天就给大家简单讲讲，也是自己对PCA的一个巩固。博客中使用的图片来自七月算法的程博士的PPT，在此感谢程博士课上的耐心讲解。      1、特征值个特征向量     我相信大家对于这个式子非常熟悉，但是你真正的理解这个式子了吗？特征向量和特征值到底有什么意义呢？说实话，在听程博士的课之前我一直迷惑，不过现在懂了。     首先，我们
矩阵分析：特征值分解
Hanze的博客
11-21 5809
对于矩阵为高纬的情况下，那么这个矩阵就是高维空间下的一个线性变换，可以想像，这个变化也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那就对应了这个矩阵最主要的N个变化方向，我们利用这前N个变化方向，就可以近似这个矩阵（变换）。是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值有大到小排列，这些特征值所对应的特征向量就是描述这个矩阵变化方向，（从主要的变化到次要的变化排序）。上面的向量A，在小泽的角度来看，就是[3,2]，然而在小乐的角度看就变成了：[5/3，1/3]。
特征值分解和SVD
机器不学习
04-25 9819
特征值分解如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。我这里引用了一些参考文献中的内容来说明一下。首先，要明确的是，一个矩阵其实就是
06 PCA(主成分分析)之特征值分解
dz4543的博客
01-30 8819
参考博客： 主成分分析（PCA）原理详解 PCA （主成分分析）详解 （写给初学者） PCA之特征分解1. 相关背景2. 数据降维3. PCA原理详解3.1 什么是PCA3.2 协方差和散度矩阵3.3 特征值分解矩阵原理3.4 SVD分解矩阵原理3.5 PCA算法两种实现方法(1) 基于特征值分解协方差矩阵实现PCA算法(2) 基于SVD分解协方差矩阵实现PCA算法4 PCA实例](PCA之特征...
整理总结：基于PCA降维的特征值分解与奇异值分解的比较
木叶生_白菜叶子的博客
10-20 296
文章内容以图片的形式展示
数据降维处理：PCA之特征值分解法例子解析
算法channel
12-07 2196
请点击上面公众号，免费订阅。　 《实例》阐述算法，通俗易懂，助您对算法的理解达到一个新高度。包含但不限于：经典算法，机器学习，深度学习，LeetCode 题解，Kaggle 实战。期待您的到来！ 01 — 回顾 这两天推送了数据降维，提取主成分的基本概念，矩阵特征值分解法获取数据的主成分的推导过程，有需要的请参考： 机器学习数据预处理：数据降维之PCA
矩阵的特征分解（推导+手算+python计算+对称矩阵的特征分解性质）
qq_30232405的博客
03-01 2925
文章目录1. 前言2.矩阵的进阶知识2.1 特征分解（谱分解）=>只可以用在方阵上2.1.1 特征分解的原理2.1.2 特征分解的合理性2.1.3 特征分解的计算2.1.4 对称矩阵的特征分解（这个性质后面SVD推导用到） 1. 前言 要学会矩阵的特征分解，可以提前看矩阵的一些基础知识： https://blog.youkuaiyun.com/qq_30232405/article/details/10...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值