基础算法---主成分分析PCA聚类

PCA主成分分析详解与应用
最新推荐文章于 2025-01-05 21:20:32 发布
原创 最新推荐文章于 2025-01-05 21:20:32 发布 · 4.3k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

主成分分析PCA是一种有效的降维方法，尤其在高维数据中，通过找到方差最大的方向来降低数据的维度。PCA涉及向量的内积、基变换等数学概念，并可通过手算实例进行理解。PCA的优缺点包括能去除冗余特征，但可能丢失部分信息。在实际应用中，PCA算法的API参数如'n_components'决定了降维后的特征维度，'whiten'控制是否进行白化处理。

PCA原理

什么是主成分分析

如果一个数据集有1w个特征，针对研究目标，不可能分析每一个特征；有些特征间存在高度相关性，相关系数可能高达95%；有些特征是另一些特征的子集；因此需要降维，去掉作用较小的特征。
在这里插入图片描述

PCA中的数学一：向量的内积

向量默认是列向量

在这里插入图片描述

A和B的单位向量B’的内积，就会A在B上的投影

PCA中的数学二：基

在这里插入图片描述

线性无关：向量正交。正交向量的内积等于0。
将图中这组基（蓝色），旋转任意角度，都可以成为一组新的基

PCA中的数学三：基变换

在这里插入图片描述
同理，（3，2）和单位向量y1’、y2’的内积，就是（3，2）在新基上的投影

在这里插入图片描述

在这里插入图片描述

PCA中的数学四：基变换在PCA中如何应用

在这里插入图片描述

在y2上投影后，会有更多的数据重合；在y1投影后，重合的数据点更少

PCA中的数学五：如何找到最优基（方差最大的方向）

在这里插入图片描述
在这里插入图片描述
三维数据以橄榄型的为例子，当三维降二维的基为方差最大的方向，二维降三维的基也为方差最大的方向，这两个方向基本就是重合的。这样的话，这两个基不是线性无关的。

那么如何解决上述问题呢？
如何找到终极目标：找到一组合适的基呢？

利用协方差和协方差矩阵：可以找到一组正交且方差最大的正交基。

在这里插入图片描述

在这里插入图片描述

协方差矩阵（1/m）XX^T

由于协方差为0，则两个向量正交（线性不相关）。 为了找到方差最大的正交基，协方差矩阵需要是一个主对角线元素都最大且非主对角线全为0的对角阵。

在这里插入图片描述

在这里插入图片描述

矩阵转置后等于其本身的是实对称矩阵，C就是一个实对称矩阵，必定可以对角化

在这里插入图片描述

PCA手算实例

在这里插入图片描述
1、计算矩阵X：两个维度，5条数据，每条数据都减去均值都到矩阵X
2、计算矩阵X的协方差矩阵：m=5条数据
在这里插入图片描述在这里插入图片描述

3：计算协方差矩阵的特征值和特征向量：根据特征值和特征向量的定义计算，行列式|λE-A| = 0，解得λ后；
当λ=2时，（λE-A）*（x1,x2）^ T = （0，0）^ T----->解得x1 = x2

在这里插入图片描述

PCA优缺点

在这里插入图片描述

最低0.47元/天 解锁文章
Kernel-PCA.rar_主成分_核pca_核pca的matlab_核主成分
09-19
标题"Kernel-PCA.rar_主成分_核pca_核pca的matlab_核主成分"表明这是一个关于核主成分分析（Kernel PCA, KPCA）的资源，它采用MATLAB语言实现。关键词"主成分"指的是主成分分析（PCA），而"核pca"和"核主成分"则特指...
R语言实现聚类分析、PCA实现与应用
03-20
利用R语言编写的聚类分析、PCA算法的实现以及应用，用于生物信息学领域的数据分析，有助于R语言与生物信息数据处理的入门有帮助！包含数据集（.txt）
主成分分析应用之聚类
J_sir2015的博客
05-27 1万+
数据的读取，通过嵌套的for循环把R矩阵填满，即得到一个对称矩阵。 princomp函数covmat参数的含义，通过R语言的帮助文档可知。   当输入矩阵为协方差矩阵，可以通过此参数的输入，从而使princomp函数能求出其主成分。 Loadings(pr），为主成分分析输出结果中的负荷因子矩阵  从summmary(pr),结果可知，当主成分个数m=3时，累计贡献率为70.52%，大于70%。即...
聚类算法——主成分分析（PCA）
CBF_genominer的博客
05-05 2万+
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。当然我并不打算把文章写成纯数学文章
PCA聚类算法
qinglv1的博客
06-08 6106
1.可以参考文章：   自己去搜索相关的介绍，我只是写一些需要注意的地方2.PCA与线性回归的区别：    线性回归有一个拟合值，它的误差是红线代表线性回归的误差但是对于PCA算法来说：3.数据处理：    特征什么的进行归一化(或者叫做特征缩放)4.在数学上面的表示(奇异值分解)SVD    在matlab里面或者octave里面有一个现成的svd()函数：在这里的Sigma代表一个矩阵，对于s...
机器学习-PCA与聚类算法
wenffe的博客
12-21 1850
1. 主成分分析(Principal Components Analysis) 1.1 原理 PCA是一种降维算法，通过最大化样本集在某一个方向投影值的平方和，来找到主轴方向，主轴是对称方阵1m∑i=1kx(i)(x(i))T\frac{1}{m}\sum_{i=1}^k{x^{(i)}(x^{(i)})^T}m1​∑i=1k​x(i)(x(i))T的特征向量方向，取前k个最大投影值平方和所对...
基于主成分分析（PCA）和K均值算法的数据聚类实现（含Matlab代码）
CyberWizarDD的博客
09-11 906
在每次迭代中，函数计算每个样本到质心的距离，并将样本分配到最近的质心所属的簇。最后，函数返回簇分配结果和最终的质心位置。接下来，我们执行K均值聚类，将PCA得分矩阵的前k个主成分作为输入。我们提供了相应的Matlab代码，用于执行PCA和K均值聚类，并可视化聚类结果。在本文中，我们将介绍如何使用主成分分析（PCA）和K均值算法来实现数据聚类，并提供相应的Matlab代码。在数据聚类中，PCA可以用于减少数据的维度，以便更好地理解数据集的结构。现在，我们将结合PCA和K均值算法，实现数据聚类的完整过程。
【机器学习-10】主成分分析(PCA)算法：原理、应用与实现
热门推荐
qq_38614074的博客
03-26 2万+
主成分分析（Principal Component Analysis，简称PCA）是一种统计分析方法，它旨在通过正交变换将原始特征空间中的线性相关变量转换为新的线性无关变量，即主成分。这些主成分能够保留原始数据的大部分信息，同时降低数据的维度，使得数据的处理和分析更加高效。PCA的原理基于数据的方差最大化思想。方差代表了数据的离散程度，方差越大，说明数据在该维度上的变化越丰富，所包含的信息也就越多。
机器学习基础算法 (十三) - 主成分分析（PCA, Principal Component Analysis）
最新发布
海棠AI实验室
01-05 1108
主成分分析（PCA）是一种广泛应用于数据降维和特征提取的技术，它通过线性变换将数据从高维空间映射到低维空间，同时保持数据的主要信息。PCA常用于减少数据的复杂性，提升算法的效率，且在无监督学习任务中具有重要应用，如图像压缩、数据可视化、噪声去除等。虽然它是一种线性技术，但在许多情况下，它仍然能很好地保留数据的关键特征。本文将深入介绍PCA的基本原理、如何在Python中实现PCA、实际应用场景以及在特定任务中的评估与调优方法。
机器学习算法基础--特征选择，主成分分析，sklearn数据集，KNN
WslWslYYX的博客
10-14 529
机器学习算法基础--第二天数据降维特征选择VarianceThreshold(threshold=0.0)主成分分析机器学习算法分类机器学习开发流程sklearn数据集sk-learn数据集API介绍获取数据集返回的类型估计器k-近邻算法（KNN）--分类算法 数据降维 定义：减少特征数量 数据降维分为两种： 特征选择：单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值，也可以不改变值，但是选择后的特征维数肯定比选择前小 主成分分析 特征选择 主要方法： 1.Filt
6、Kmeans、PCA聚类算法
qq_34514046的博客
08-23 411
          PCA：把原来100维的有意义特征映射到10维无实际物理意义的项      
matlab聚类分析pca方法
04-21
matlab聚类分析中的pca方法程序。可以执行。需要matlab版本2014以上
matlab实现pca聚类
12-04
matlab 实现pca聚类算法，仅有matlab脚本文件.。。。。
机器学习实践六---K-means聚类算法 和 主成分分析（PCA）
stevenhenry的专栏
03-04 3189
在这次练习中将实现K-means 聚类算法并应用它压缩图片，第二部分，将使用主成分分析算法去找到一个脸部图片的低维描述。 K-means Clustering Implementing K-means K-means算法是一种自动将相似的数据样本聚在一起的方法,K-means背后的直观是一个迭代过程，它从猜测初始的质心开始，然后通过重复地将示例分配到最接近的质心，然后根据分配重新计算质心，来细化这...
第二章 聚类分析-PCA降维（笔记）
weixin_42660711的博客
03-11 2790
PCA降维 主成分分析法（Principal Components analysis PCA）是一种分析、简化数据集的技术。PCA可以将数据从原来的向量空间映射到新空间中。由于每次选择的都是方差最大的方向，所以往往经过前几个维度的划分后，之后的数据排列都非常紧密了，我们可以舍弃这些维度从而实现降维。 上述看起来很晦涩难懂，我们可以大致知道PCA就是提出空间数据中的主要特征（主元），减少数据冗余，使得数据在一个低维的特征空间被处理，同时保持原始数据的绝大部分信息，从而解决数据空间维度过高的问题。 原理 内积
KMeans、dbscan、PCA综合练习（聚类分析）
Braylon的博客
10-01 2086
这是我老师给我的一份数据集，用于练习，我把我的心路历程push出来，也都是一些很基础的聚类方法，非常适合初学者入门。 先上数据集： https://pan.baidu.com/s/1i5Y3_anBjsxGVird3oZyTA 提取码：iy5a 里面是一个breast的txt文件，700个样本，10维的数据，前九维是属性，最后一维是类别标签，对了这里声明一下，我后面的操作都是做的无监督的情况，也...
采用DESeq2对表达量进行PCA和聚类分析
庐州月光的博客
09-25 1万+
欢迎关注”生信修炼手册”!得到基因/转录本的表达量之后，通常会通过以下三种类型的图表来检验和分析生物学样本和实验设计间关系。1. 样本的聚类树利用所有样本的表达量数据，对样本进行聚类。...
PCA降维提取特征脸并进行聚类分析
龙晨天的博客
08-20 3377
PCA降维提取特征脸并进行聚类分析 1. 题目 给定的人脸图像数据集，计算相应的特征脸(eigenfaces)，并探讨pca降维后特征个数与聚类性能的关系。 2. 代码实现 """ eigenface的python实现 """ import cv2 import os import numpy as np import matplotlib.pyplot as plt import PIL.Image as Image from sklearn.decomposition import PCA from
利用python的KMeans和PCA包实现聚类算法
leofionn的博客
01-25 1060
  https://www.cnblogs.com/yjd_hycf_space/p/7094005.html   from sklearn.cluster import KMeans from sklearn.decomposition import PCA import pandas as pd import numpy as np import matplotlib.pyplo...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值