线性代数笔记：PCA算法推导

最新推荐文章于 2024-08-31 11:49:15 发布
原创 最新推荐文章于 2024-08-31 11:49:15 发布 · 1.2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#PCA

PCA是主成分分析，一种数据降维技术，用于去除噪声和减少计算量。在PCA中，通过样本中心化后寻找最小重构误差的主方向。本文详细介绍了PCA的原理，包括样本中心化步骤和最小重构误差公式的推导。

PCA算法推导

PCA原理概述

PCA是主成分分析(Principal Components Analysis)的简称。这是一种数据降维技术，用于数据预处理。一般我们获取的原始数据维度都很高，那么我们可以运用PCA算法降低特征维度。这样不仅可以去除无用的噪声，还能减少很大的计算量。

PCA和SVD类似，仍然是一种数据压缩的算法。
找到诸如 A A ′ AA^\prime AA′和 B B ′ BB^\prime BB′ 距离最小的主方向u，使得所有原始点与投影点之间的误差最小，即最小重构误差。
在这里插入图片描述

样本中心化

在做PCA之前，一般要先对样本点中心化，即样本矩阵取均值：
在这里插入图片描述
在这里插入图片描述

最小重构误差公式推导

先假设只有一个样本 x x x(用向量 x → \overrightarrow{x} x

最低0.47元/天 解锁文章
线性代数-第12篇：主成分分析（PCA）：跨领域降维技术
无
04-21 213
主成分分析通过线性代数的特征值分解，为高维数据提供了高效的降维方案，广泛应用于AI、量化投资和大数据领域。从图像压缩到因子筛选，PCA的价值贯穿数据处理全流程。下一篇《线性代数-第13篇：奇异值分解（SVD）：稀疏数据的特征提取》中，我们将探讨SVD的原理及其在推荐系统、文本分析等场景中的独特优势，解析它与PCA的联系与区别。如果对PCA的计算细节或应用场景有疑问，欢迎在评论区留言！
机器学习| 面试题：10、PCA算法原理
Mrrunsen的博客
09-12 527
PCA算法原理 主成分分析（Components Analysis，PCA）是机器学习中最经典的降维方法，也是面试中的家常便饭，因而有必要认真梳理一遍PCA的原理，甚至需要手动推导一遍。 文章目录PCA算法原理数据降维PCA概念PCA之最大可分性（最大方差）最大化方差公式推导PCA求解过程总结PCA之最近重构性（最小平方误差）最小化平方误差优化目标PCA求解过程总结PCA的优缺点总结参考资料 数据降维 在理解PCA的概念之前，我们先来认识一下什么是数据降维。降维就是用低维度的向量来表示原始高维度的特征。 例
PCA线性代数讲解
热门推荐
gcaxuxi的博客
08-07 2万+
线性代数及PCA详解 本章对最近学习的线性代数知识进行总结，最后以PCA为例运用线代中的相关知识讨论其中的原理。才疏学浅，各位有什么意见可以讨论，一起查缺补漏。 1. 线代基础对于深度学习，它需要一定的数学和机器学习基础，特别的，线性代数、概率与信息论和数值计算尤为重要（参见《deep learning》一书）所以我们本章主要对线代进行讨论，当然主要是为了针对PCA包含的知识点。如果有同学希望可
PCA与线性代数的关系
See what you want to see
05-01 499
PCA与线性代数的关系 这篇博客记录一下今天花了几个小时复习线性代数以理解PCA原理的过程，内容比较粗浅，但是大致知道原理了，公式在这里就不多提了，最多扯一下矩阵和各个概念的涵义。 PCA 用处 吴恩达说这玩意儿可以用来做可视化（高维降维成2维）和特征压缩，这个没什么异议。 可视化没啥可说的，主要从降维来说说原理吧。 原理 其数学原理，主要就是从m*n的矩阵（m个样本，每个样本有n个特征）中选区分...
基于OpenCV的人脸识别算法之一---理论基础
LIT_Elric的博客
04-12 3294
摘 要：人脸识别几乎是所有刚入门机器视觉方面的同学最感兴趣的一个方面，当然我也不例外。利用OpenCV，我们可以很方便的就实现人脸识别算法，当然精度有待提高，所以就要求我们必须掌握其原理才能更进一步的提升自己的能力。这里给出利用OpenCV实现人脸识别程序的整个流程，一来巩固自己所学的知识，二来也能帮助刚入门的同学们。本文首先介绍了OpenCV中FaceRecognizer类的理论基础，然后结合具...
主成分分析PCA找寻数据“灵魂”-线性代数（4）
最新发布
2401_86636311的博客
08-31 1681
主成分分析(PCA)核心思想是将高维数据转换为低维数据，同时尽可能保留原始数据的主要信息，主要过程是将原始数据中的所有变量通过线性变换后，按照方差大小进行排序，与奇异矩阵的奇异值类似，方差越大，保留数据中信息越多，按此顺序选取少数几个互不相关（正交）的关键变量，这些关键变量称为主成分，也就是该部分数据的“灵魂”。，如下图所示，假如数据点的分布在y轴坐标上基本没什么差异，而在x轴上的距离相对比较大（一般用方差表示距离大小），则可以只选取x轴坐标的数值表示数据分布的主要情况。
线性代数笔记16：理解PCA
crazy_scott的博客
04-27 683
在SVD的基础上，深入理解PCA。 本文涉及到仿射变换、SVD等多个概念，可以先看参考文献，本文作为复习理解之用。 基本思想 降维是机器学习中很常见的一种思维方式，一般来说，可以通过线性投影和非线性映射进行。 PCA是一种简单的线性映射，当考虑降维时，我们一般有两种思路： 找到d-维仿射变换子空间，在合适的投影下，新的投影点与原先的投影点就接近。也就是说，在新投影下能最大限度的...
MIT线性代数笔记：矩阵运算与方程组解析
从给定文件信息来看，标题为“线性代数_矩阵运算_方程组解释_MIT公开课笔记用途_1742822302.zip”，这表明该压缩包内容极有可能来源于MIT（麻省理工学院）的著名线性代数公开课讲义或学习笔记，主讲人很可能是...
吴恩达机器学习笔记：十大算法推导与讲义详解
它要求学习者具备良好的线性代数、微积分、概率论与统计学基础。例如，在支持向量机（SVM）的推导中，涉及拉格朗日乘子法、对偶问题、核技巧等复杂概念；在神经网络部分，反向传播算法的推导需要用到链式求导法则...
MIT线性代数笔记：对称矩阵与正定性详解
资源摘要信息:"超详细MIT线性代数公开课笔记(下)1" 是一份针对麻省理工学院（MIT）经典课程 18.06《线性代数》的深度学习笔记，重点覆盖课程第三单元“正定矩阵及其应用”中的核心内容。该笔记系统性地讲解了对称...
机器学习笔记：Python模型推导与算法解析
"这份笔记详尽地涵盖了Python中的机器学习模型公式推导，包括线性回归、逻辑回归、支持向量机（SVM）、K近邻（KNN）、K-means聚类、反向传播（BP）神经网络、主成分分析（PCA）以及各种聚类算法。这些内容对于理解...
PCA的线性代数原理
weixin_46881031的博客
07-19 233
http://blog.codinglabs.org/articles/pca-tutorial.html
线性代数——PCA主成分分析计算步骤
snowdroptulip的博客
04-05 1万+
主成分分析线性代数概念复习向量的内积基协方差矩阵实对称矩阵特征值和特征向量主成分分析的计算步骤 本文不会深究原理，如果有时间我会把原理补上，这篇文章主要是讲主成分分析的计算步骤。 在开始详细介绍PCA算法前，我们先来复习一下线性代数中几个重要的概念 线性代数概念复习 向量的内积 假设a⃗=[a1a2...an]\vec{a}=\begin{bmatrix} a_1 \\ a_2 \\ ...\\...
数学原理—最小重构误差
m0_55196097的博客
03-26 2756
最小重构误差（Minimum Reconstruction Error）是指在信号处理、数据压缩等领域中，用来衡量原始数据和经过压缩或降维后的数据之间差异程度的一个指标。它是指原始数据与压缩后重构数据之间的差异程度的最小值。在信号处理领域，最小重构误差通常用于衡量信号经过采样、量化、编码等操作后重构信号与原始信号之间的差距。在数据压缩领域，最小重构误差则用于衡量压缩算法对原始数据的压缩效果。最小重构误差越小，说明重构后的数据与原始数据的差距越小，压缩或降维效果越好。
PCA推导
qq_36018024的博客
03-08 184
PCA推导
基于LPP算法实现MNIST数据集降维
ZHW-鲜橙大AI课题组的博客
06-08 2107
刘晨雨，男，西安工程大学电子信息学院，2022级研究生研究方向：医学图像分割电子邮件：1422231109@qq.com陈梦丹，女，西安工程大学电子信息学院，2022级硕士研究生，张宏伟人工智能课题组研究方向：机器视觉与人工智能电子邮件：1169738496@qq.comLPP（Locality Preserving Projection），即局部保留投影算法，是一种常用的降维算法，通过线性近似LE算法（拉普拉斯特征映射）来保留局部信息，可以被看做是PCA的替代。
自编码器/堆叠式自编码器（SAE）
搞点學術的研究生
07-09 1万+
自编码器（ Auto-Encoder，ＡＥ） 定义： 通过将输入信息作为学习目标，对输入信息进行表征学习 （representation learning）。（将原始数据转换成为能够被机器学习来有效开发的一种形式） 作用： 使用自编码器是为了得到有效的数据表示， 降维（部分结构）、异常值检测（完整结构）。对于预测模型，去掉解码器，只保留编码器，让编码器 的输出直接作为后续机器学习模型的输入。（分析获取数据的内部结构特性， 更好的实验分析） 训练过程： ｆ，ｇ激励函数（Sigmoid, Relu）；W1，
特征降维和特征选择
圣托里尼的日落啊~的博客
04-24 1278
文章目录SIFT特征 -- 尺度不变特征变换为什么需要做数据降维线性降维PCA算法PCA：重构当特征维数过高的时候怎么处理PCA:最小重构误差CCA：典型相关分析LDA：线性判别分析Fisher判别准则LDA算法步骤LDA分步算法图解ICA：独立成分分析算法：非高斯最大化整体算法非线性特征降维(流形学习)LLE：局部线性嵌入(Local Linear Embedding)Isomap主题：特征选择 特征表示学习 #mermaid-svg-vBd4qtugmxvvfKjn .label{font-family
数据降维PCA
思过留痕
10-22 779
主成分分析（Principal Component Analysis, PCA）是最常用的一种降维方法，早在1901年卡尔（Karl）与皮尔逊（Pearson）提出，应用于非随机变量，后经霍蒂林（Hostelling）将这个概念推广至随机向量。 1. 简介 PCA，就是找出多个多维变量之间的线性组合关系，用线性组合后的向量来代表新的维度，说明一下，这里新型组合后的向量之间是正交的，选择少数几个组合...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值