PCA 分解的基本推导和计算方法

主成分分析(PCA)原理详解 机器学习中有关特征选择的问题,其实就是要剔除和类标签无关的特征,去除噪声或者冗余。在这种情况下,需要一种特征降维的方法来减少特征数,减少噪音和冗余,减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上(k<n),这k维是全新的正交特征。这k维特征称为主成分,是重新构造出来的k维特征,而不是简单地从n维特征中去除其余n-k维特征。现在的问题是,对于很高维数据,你能想象其分布吗?就算能描述分布,如何精确地找到这些主成分的轴?如何衡量你提取的主成分到底占了整个数据的多少信息?所以,我们就要用到主成分分析的处 阅读详情
PCA是数据降维的一种方法,其目标是找到数据分布方差最大的方向,并将数据向该方向投影并保持投影后恢复数据的残差最小。即找到e和a,使得x的估计值x‘=m+e*a与x残差最小。注意,这里e为一个方向向量(非矩阵),且限定e的模为1(否则a和e不唯一)。

PCA的推导,通过最优化x-x’的均方误差最小,得到a=T(e)*(x-m)。

进一步,将均方误差表示为e的表达式,并在e的模为1的约束下相对e最优化均方误差。

可以推导得到e的最优解需要满足S*e=lamabda*e,从而e转为为求矩阵的特征值和特征向量问题。而S阵为x的散度矩阵,存在S=X*X‘,X为输入特征减去均值向量组成的矩阵。

由于X存在奇异值分解,即X=U*D*T(V),则S=U*D*D*T(U)。

对于特征值和特征向量,存在S=E*D2*T(E),从而可知,存在E=U,D2=D*D。

需要注意,是对X做奇异值分解,而不是对S做。

当然,也可以通过对S求解特征值和特征向量得到投影矩阵。


参考自Duda的模式识别。

奇异值分解(SVD)原理详解及推导 在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有需要补充的,特别是关于矩阵和映射之间的对应关系。前段时间看了国外的一篇文章,叫A Singularly Valuable Decomposition The SVD of a Matrix,觉得分析的特别好,把矩阵和空间关系对应了起来。本文就参考了该文并结合矩阵的相关知识把SVD原理梳理一下。 SVD不仅是一个数学问题,在工程应用中的很多地方都有它的身影,比如前面讲的PCA,掌握了SVD原理后再去看PCA那是相当简单的,在推荐系统方面,SV 阅读详情

相关推荐

SVD和PCA详细原理以及联系(包含公式推导)

初始假设 假设X∈Rn×dX \in R^{n \times d}X∈Rn×d,即为nnn个样本,ddd维的矩阵,将每个数据矢量的条目合并,使得XiT=(Xi1,…,Xid)X_i^T = (X_i1, \ldots, X_id)XiT​=(Xi​1,…,Xi​d)。 在将这些向量放入数据矩阵之前,我们实际上会减去数据的平均值,即:μ=1n∑i=1nXi=(∑i=1nXi1,…,Xid)T\mu ...

Yuchao_research 2727

矩阵分解之:主成分分析(PCA)

本文是在参考主成分分析(PCA)原理详解的基础上 添加一些自己的理解。 1.相关背景 在许多领域的研究与应用中,通常需要对含有多个变量的数据进行观测,收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息,但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下,许多变量之间可能存在相关性,从而增加了问题分析的复杂性。如果分别对每个指标进行分析,分析往往是孤立...

qfikh的博客 2万+

PCA算法推导

PCA理解与应用。 Motivation PCA与Factor analysis非常相似,都是主要用于reduction data dimensions。但PCA的想法相比于Factor analysis更简单,实现起来也更加直观和容易(只需要算特征值)。 PCA tries to identify the subspace in which the data approximately li...

crazy_scott的博客 1996

主成分分析PCA

主要参考这篇文章: http://blog.sina.com.cn/s/blog_3f738ee00102vakz.html个人总结: PCA是一种对采样数据提取主要成分,从而达到降维的目的。相比于上篇文章介绍到的SVD降维不同,SVD降维是指减少数据的存储空间,数据的实际信息没有缺少。个人感觉PCA更类似与SVD的去噪的过程。 PCA求解过程中,涉及到了SVD的使用。 针对数据集D={d1,d2

小羊哈利 468

PCA的数学原理推导

PCA的数学推导 PCA(Principle Component Analysis)是一种可以将高维度数据降为低维度数据的机器学习算法。通过降维,可以有节省存储空间,数据可视化等优点。之前在Coursera上Andrew Ng的机器学习时了解到此算法,但是那个课只涉及了实现,并未阐述其背后的数学原理。之后在Coursera上又找到一门专门讲PCA数学原理的课程,才借此了解些许其中的数学原理,在此...

道路,愿景与目标。 5445

【数学】主成分分析(PCA)的详细深度推导过程

现代数据集,如网络索引、高分辨率图像、气象学、实验测量等,通常包含高维特征,高纬度的数据可能不清晰、冗余,甚至具有误导性。数据可视化和解释变量之间的关系很困难,而使用这种高维数据训练的神经网络模型往往容易出现过拟合(维度诅咒主成分分析(PCA)是一种简单而强大的无监督机器学习技术,用于数据降维。它旨在从大型变量集中提取一个较小的数据集,同时尽可能保留原始信息和特征(有损压缩PCA有助于识别数据集中最显著和有意义的特征,使数据易于可视化。应用场景包括:统计学、去噪和为机器学习算法预处理数据。主成分是什么。

2401_84038983的博客 1908

更加全面地认识PCA

此文章已于 16:41:13 2013/4/26 重新发布到 wybang 更加全面地认识PCA 类别机器学习, 数据挖掘 相信只要与数据打交道的同学对PCA都不陌生,不管是机器学习/数据挖掘的同仁,还是从事图像处理、信号分析的研究者。PCA有着十分广泛的应用,常见的应用有降维(dimensionality reduction)、特征提取(featu...

diaochunliu5111的博客 240

SVD与PCA,奇异值分解与主成分分析的比较

一般来说,想要获得低维的子空间,最简单的是对原始的高维空间进行线性变换(当然了,非线性也是可以的,如加入核函数,比较著名的就是KPCA)。SVD和PCA呢,都实现了降维与重构,但是呢,思路不太一样,老师课上提了一次,以前看的迷迷糊糊的,这次下定决心,怎么都要搞清楚这两个概念。

zhangdadadawei的博客 1万+

通俗易通了解PCA

PCA,对重要特征提取和不重要特征的舍去,主要用于数据降维。例如可以使用一个比原始图像少的多的数据维度来捕获图像的本质

qq_50595984的博客 429

PyQt5 + HFSS:给你的仿真脚本做个专属GUI界面(零基础搭建指南)

本文详细介绍了如何使用PyQt5为HFSS仿真脚本创建专属GUI界面,适合零基础用户快速上手。通过Python二次开发,实现参数可视化调整、进度实时监控等功能,大幅提升团队协作效率。文章涵盖环境配置、界面设计、HFSS集成到打包部署的全流程,是仿真工程师提升工作效率的实用指南。

weixin_42535720的博客 186

薄膜比拟、开口截面扭转承载力以及风电混塔水平缝张开状态下抗扭承载力推导

风电混塔水平缝张开状态下的抗扭承载力推导,从弹性力学说起

George的博客 877

PCA降维算法详细推导

机器学习降维算法PCA的详细推导,其中用到了很多矩阵分析的知识。

Chenglin(Ben) Yu's Miracle 1848

用Zotero+B站Kimi,我如何把一篇顶会论文快速做成组会PPT(含完整提示词)

本文介绍如何利用Zotero和Kimi快速将顶会论文转化为组会PPT,提升学术汇报效率。通过Zotero的文献管理插件和Kimi的AI提炼技术,实现从论文阅读到PPT生成的全流程自动化,帮助研究者在90分钟内完成高质量汇报准备。

weixin_30955617的博客 505

从PCA和SVD的关系拾遗

从PCA和SVD的关系拾遗最近突然看到一个问题,PCA和SVD有什么关系?隐约记得自己照猫画虎实现的时候PCA的时候明明用到了SVD啊,但SVD(奇异值分解)和PCA的(特征值分解)貌似差得相当远,由此钻下去搜集了一些资料,把我的一些收获总结一下,以免以后再忘记。PCA的简单推导PCA有两种通俗易懂的解释,1)是最大化投影后数据的方差(让数据更分散);2)是最小化投影造成的损失。这两个思路最后都能推

DarkScope从这里开始 4万+

从零开始:如何用大语言模型构建你的第一个路径规划智能体

本文详细介绍了如何利用大语言模型(LLM)构建路径规划智能体,从基础概念到实战案例,涵盖TSP和CVRP问题的解决方案。通过选择合适的LLM模型、设计有效的提示工程和实现自我验证,即使没有运筹学背景也能快速上手。文章还提供了部署与优化智能体的实用技巧,帮助读者在物流配送、机器人导航等领域应用这一技术。

weixin_28256233的博客 488

告别PS串口焦虑:深入解析AXI Uartlite IP核如何将ZYNQ PL任意引脚变成串口(从Vivado约束到驱动文件全解析)

本文深入解析AXI Uartlite IP核如何将ZYNQ PL任意引脚变成串口,从Vivado约束到驱动文件全解析。通过AXI Uartlite IP核,开发者可以突破PS端UART数量限制,实现高效串口通信。文章详细介绍了IP核架构、Vivado工程配置、驱动开发及调试技巧,帮助开发者快速掌握这一技术。

weixin_33736649的博客 469

详细推导PCA算法(包括算法推导必备的知识)

详细推导PCA算法1 PCA优化目标2 理论依据2.1 矩阵换基底2.2 拉格朗日乘子法2.3 协方差矩阵2.4 特征向量和奇异值分解2.4.1 特征向量2.4.2 奇异值分解2.4.3 特征向量和奇异值分解的关系3 PCA3.1 PCA推导3.2 PCA过程总结 本文主要思路如下: 1 PCA优化目标 PCA(主成分分析)是一种数据降维的方法,即用较少特征地数据表达较多特征地数据(数据压缩,P...

怪兽 3875

抖音直播小风车跳转企业微信全攻略:企业号申请+落地页配置详解

本文详细解析了抖音直播小风车跳转企业微信的全流程,包括企业号申请、小风车配置和落地页优化。通过实战指南,帮助企业高效实现私域流量沉淀,提升直播转化率,特别适合电商和营销从业者参考。

weixin_29289821的博客 616

一文让你彻底搞懂主成成分分析PCA的原理及代码实现(超详细推导)

主成分分析(Principal components analysis)PCA是一个很重要的降维算法,可以用来降噪、消除冗余信息等,只要和数据打交道几乎是必学的。它需要一些前置知识,我自己学的时候总是一知半解,后来才知道是这些前置知识基础没打牢固,为了彻底搞明白,我另外写了几篇文章,理清了其中用到的一些知识,基础不好的同学可以先过一下: 带你深入理解期望、方差、协方差的含义 一文读懂特征值分解EVD与奇异值分解SVD 引言 首先先举个例子来认识一下数据。 假设我们有一组二维数据(x,y),它的分布如下:

Luoyingfeng的博客 9万+

精密装配机器人系列编程:ABB IRB 120_(20).编程项目设计与实施

在精密装配机器人系列编程中,项目的成功设计与实施涉及多个关键步骤。从项目需求分析到最终调试,每一个环节都需要细致的考虑和专业的技术。选择合适的编程语言、设计良好的程序结构、掌握调试技巧以及解决常见问题,都是确保机器人高效、稳定运行的重要因素。通过不断优化和改进,可以提高生产效率和产品质量,满足不断变化的生产需求。

zhubeibei168的博客 1244

Pytorch实现EdgeCNN(基于PyTorch实现)

本专栏整理了《图神经网络代码实战》,内包含了不同图神经网络的相关代码实现(PyG以及自实现),理论与实践相结合,如GCN、GAT、GraphSAGE等经典图网络,每一个代码实例都附带有完整的代码。

优快云 精品推荐 1万+

PCA(主成分分析)数学原理推导证明

PCA的纯数学推导过程

白翎书生 6146

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

最通俗易懂的PCA主成分分析推导

前言 说到PCA你是不是第一时间想到的是对协方差矩阵做特征值分解,但是为什么这么做呢?之前看过的大部分PCA博文也都是只简单介绍了PCA的流程,对其中的推导过程与原理并没有详细介绍,这篇文章的目的是从数学的角度,手推PCA每一个步骤,帮助读者了解PCA的工作机制是什么。文中的某些数学公式,可能会对某些读者产生不适,我会尽可能的用白话把其中原理讲解的通俗易懂。 PCA简介 PCA(Prin......

u012526436的博客 2万+

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

奇异值分解(SVD)与PCA(主成分分析)

奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统(稍后讲解),以及自然语言处理等领域,是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解,一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...

weixin_43972621的博客 8025
上一篇: Brief算法分析(草稿)
下一篇: 关于"国内人脸识别研究现状"博文点评
TreeFish2012
博客等级 码龄14年 25粉丝 1原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值