一口气读懂 PCA 主成分分析:从原理到代码,本科生/研究生都能彻底学会

PCA(主成分分析)原理、代码详解 阅读详情

一口气读懂 PCA 主成分分析:从原理到代码,本科生/研究生都能彻底学会

大家好,今天我们用最通俗、最详细、最不绕弯子的方式,把 PCA(主成分分析) 讲明白。
不管你是刚接触机器学习的本科生,还是做实验、写论文需要降维的研究生,看完这篇文章,你以后遇到高维数据再也不会头疼。

全文结构:

  • 一句话:PCA 到底是干嘛的?
  • 为什么要用 PCA?(3 个最真实的理由)
  • PCA 最核心的原理(大白话版)
  • 数学原理一步步讲(不跳步)
  • 代码实战:鸢尾花数据集 + 可视化
  • PCA 优缺点 + 适用场景(面试/论文直接用)

一、PCA 到底是什么?一句话讲明白

PCA = 把一堆复杂、高维、冗余的数据,压缩成少数几个“最关键”的维度,同时尽量不丢信息。

更通俗一点:

  • 你有 100 个特征,太乱、太冗余、太占内存
  • PCA 帮你找出最重要的 2 个或 3 个方向
  • 把所有数据投影上去
  • 结果:数据变简单了,关键信息还在

二、我们为什么一定要用 PCA?(3 个真实理由)

1. 特征太多、太冗余

比如你有:身高、体重、肩宽、腰围、臀围……
这些特征高度相关,其实只需要 1~2 个“体型维度”就能表达。

2. 数据可视化

人类只能看懂 2 维 / 3 维 的图。
如果你有 10 维、20 维数据,不降到 2 维,根本画不出来。

3. 提升模型速度、防止过拟合

维度越少,模型跑得越快,也不容易乱学习噪声。


三、PCA 最核心的思想(大白话,不讲公式)

想象你有一堆数据点,像一个拉长的土豆/云朵:

  1. 第一主成分(PC1)
    数据拉得最长、分布最开的那个方向。
    → 包含最多信息、最大方差。

  2. 第二主成分(PC2)
    和 PC1 垂直(正交),且是数据第二长的方向。

  3. 后面所有主成分
    依次正交,方差越来越小。

我们只保留前 2~3 个主成分,就够表达 95% 以上的信息!


四、PCA 数学原理:一步一步讲(最详细版)

下面内容论文可直接引用,且本科生完全能看懂。

步骤 1:数据标准化 / 中心化(必须做!)

PCA 极度依赖“零均值”。
公式:
每个特征减去它自己的均值:
X~=X−μ\tilde{X} = X - \muX~=X−μ
目的:让数据中心在原点,避免均值影响方差计算。

步骤 2:计算协方差矩阵

协方差矩阵用来衡量:
特征之间的线性相关程度

公式:
C=1n−1X~⊤X~C = \frac{1}{n-1} \tilde{X}^\top \tilde{X}C=n−11​X~⊤X~

这个矩阵非常关键:

  • 对角线:每个特征自己的方差
  • 非对角线:特征之间的相关性

步骤 3:特征值分解(PCA 最核心)

对协方差矩阵做分解:
Cvi=λiviC v_i = \lambda_i v_iCvi​=λi​vi​

  • λ(特征值):表示这个方向有多少方差(多少信息)
  • v(特征向量):主成分的方向

步骤 4:按特征值从大到小排序

特征值越大,这个方向越重要!

步骤 5:数据投影(降维完成)

把原始数据投影到前 k 个主成分上:
Z=X~⋅VkZ = \tilde{X} \cdot V_kZ=X~⋅Vk​


五、一句话总结 PCA 流程

  1. 中心化:让均值=0
  2. 算协方差矩阵
  3. 特征值分解,得到主成分方向
  4. 按方差大小排序
  5. 投影降维 → 完成!

六、代码实战:PCA 降维 + 可视化(可直接复制)

我们用最经典的 鸢尾花数据集:
4 个特征 → 降到 2 个主成分 → 画图。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

# 1. 加载数据
iris = load_iris()
X = iris.data
y = iris.target
feature_names = iris.feature_names
target_names = iris.target_names

# 2. 标准化(PCA 必须步骤!)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 3. PCA 降维:4 维 → 2 维
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

# 4. 查看方差贡献率(最重要!)
print("PC1 方差贡献率:", round(pca.explained_variance_ratio_[0], 3))
print("PC2 方差贡献率:", round(pca.explained_variance_ratio_[1], 3))
print("累计方差贡献率:", round(sum(pca.explained_variance_ratio_), 3))

# 5. PCA 可视化
plt.figure(figsize=(10, 6))
for i, color, label in zip(range(3), ['red', 'blue', 'green'], target_names):
    plt.scatter(
        X_pca[y == i, 0], 
        X_pca[y == i, 1], 
        color=color, 
        label=label, 
        s=80, 
        alpha=0.7
    )

plt.title("PCA 降维可视化(4D → 2D)", fontsize=14)
plt.xlabel(f"PC1 ({pca.explained_variance_ratio_[0]:.2%})")
plt.ylabel(f"PC2 ({pca.explained_variance_ratio_[1]:.2%})")
plt.legend()
plt.grid(alpha=0.3)
plt.show()

七、运行结果你会看到

  • PC1 贡献约 72%
  • PC2 贡献约 23%
  • 累计超过 95%

也就是说:
只用 2 个维度,就表达了原始 4 个维度 95% 以上的信息!


八、累计方差贡献率图(论文必备)

pca_full = PCA().fit(X_scaled)
cumulative = np.cumsum(pca_full.explained_variance_ratio_)

plt.figure(figsize=(10, 5))
plt.plot(range(1, 5), cumulative, marker='o', linewidth=2, color='purple')
plt.axhline(y=0.9, color='red', linestyle='--', label='90% 信息')
plt.title("累计方差贡献率")
plt.xlabel("主成分数量")
plt.ylabel("累计信息占比")
plt.legend()
plt.grid()
plt.show()

九、PCA 优点(面试/论文直接写)

  1. 无监督降维:不需要标签
  2. 正交无冗余:主成分之间互相独立
  3. 速度极快:只用到矩阵分解
  4. 信息可量化:方差贡献率告诉你保留了多少信息
  5. 可视化神器:任何高维数据都能降到 2/3 维画图

十、PCA 缺点(必须知道)

  1. 只能处理线性关系
  2. 对尺度非常敏感:必须标准化!
  3. 主成分不可直接解释:不像原始特征那么直观
  4. 对异常值敏感

十一、PCA 最适合什么场景?(论文/比赛通用)

  1. 特征高度线性相关
  2. 需要降维、可视化
  3. 需要降噪、加速模型
  4. 无标签数据

十二、总结(最精简一句话)

PCA 就是把高维、冗余、复杂的数据,用少数几个最关键的正交方向压缩,保留最多方差(信息),让数据变简单、可画、可跑模型。

主成分分析(PCA)方法步骤以及代码详解 主成分分析(PCA)方法步骤以及代码详解 前言 上一节我们了解到在构建神经网络模型,除了掌握如何搭建神经网络架构,了解参数具体含义,规避风险等方法。第一步是要对采用数据集的详细了解,无需接触任何神经网络代码,而是从彻底检查数据开始。这一步是非常关键的一步,往往我们在数据处理的某一个步骤会一定程度上的影响实验结果。本节将讲述常见的数据降维方法PCA,减少数据集的变量数量,同时保留尽可能多的信息。 1. 什么是主成分分析? ​ PCA(Principal Component Analysis) 是一种常见的 阅读详情

相关推荐

主成分分析(PCA)原理详解

机器学习中有关特征选择的问题,其实就是要剔除和类标签无关的特征,去除噪声或者冗余。在这种情况下,需要一种特征降维的方法来减少特征数,减少噪音和冗余,减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上(k<n),这k维是全新的正交特征。这k维特征称为主成分,是重新构造出来的k维特征,而不是简单地从n维特征中去除其余n-k维特征。现在的问题是,对于很高维数据,你能想象其分布吗?就算能描述分布,如何精确地找到这些主成分的轴?如何衡量你提取的主成分到底占了整个数据的多少信息?所以,我们就要用到主成分分析的处

李春春的专栏 47万+

主成分分析(PCA)详解

主成分分析(PCA)原理与应用

weixin_60737527的博客 9万+

PCA:详细解释主成分分析

1 PCA目的/作用 主成分分析算法(PCA)是最常用的线性降维方法,它的目标是通过某种线性投影,将高维的数据映射到低维的空间中,并期望在所投影的维度上数据的信息量最大(方差最大),以此使用较少的数据维度,同时保留住较多的原数据点的特性。 PCA降维的目的,就是为了在尽量保证“信息量不丢失”的情况下,对原始特征进行降维,也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影。将原特征投影到...

lanyuelvyun的博客 22万+

主成分分析法(PCA)

主成分分析(Principal components analysis,以下简称PCA)是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA,下面我们就对PCA的原理做一个总结。

weixin_45142381的博客 3万+

主成分分析(PCA)原理与特征选取

在许多领域中存在着大量数据特征,我们通常需要在海量的数据中提取出有价值的信息,例如如何在众多的数据特征中筛选或者是提取出高度有效的特征指标,而PCA就是一种能够解决此类问题的有效方法。PCA(Principal Component Analysis),即主成分分析方法,主成分顾名思义就是代表一个数据中或者是事件中最重要、最主要的成分。主成分分析是一种使用最广泛的数据降维算法。

m0_70466650的博客 5512

一文读懂【主成分分析(PCA)】

这组新的观测数据实质上是原始数据的一种变换,虽然其含义与原始数据不同,但却包含了原始数据的大部分特征,而且维度较低,便于进一步的分析。在空间上,可以将PCA理解为将原始数据投射到一个新的坐标系统,其中第一主成分对应第一坐标轴,表示了原始数据中多个变量通过某种变换得到的新变量的变化范围。这组新的观测数据实质上是原始数据的一种变换,虽然其含义与原始数据不同,但却包含了原始数据的大部分特征,而且维度较低,便于进一步的分析。随后的每个主成分都与前面的主成分正交(夹角为90°),并且具有仅次于前一主成分的最大方差。

3467

PCA:详解主成分分析

主成分分析算法(PCA)是最常用的线性降维方法,它的目标是通过某种线性投影,将高维的数据映射到低维的空间中,并期望在所投影的维度上数据的信息量最大(方差最大),以此使用较少的数据维度,同时保留住较多的原数据点的特性。

wfengzi5的博客 1万+

PCA主成分分析原理及其python代码复现

PCA主成分分析原理及python代码实现,详细步骤

qq_52048052的博客 1731

python主成分分析_Python机器学习笔记:主成分分析(PCA)算法

一:引入问题首先看一个表格,下表是某些学生的语文,数学,物理,化学成绩统计:首先,假设这些科目成绩不相关,也就是说某一科目考多少分与其他科目没有关系,那么如何判断三个学生的优秀程度呢?首先我们一眼就能看出来,数学,物理,化学这三门课的成绩构成了这组数据的主成分(很显然,数学作为第一主成分,因为数据成绩拉的最开)。那么为什么我们能一眼看出来呢?当然是我们的坐标轴选对了!!下面,我们继续看一个表格,下...

weixin_39570530的博客 2296

PCA主成分分析

PCA主成分分析 PCA(principal components analysis)主成分分析是一种较老的一种应用于降维的方法,其目的是在于找到一种线性映射,将原始输入向量映射至较低维向量空间,同时使得向量间的方差最大(为了使得各向量能区分的更好)。并且,该线性映射不是普通的线性映射,而是正交的,使得映射后各维度正交以更好地解释。 下面来具体解释一下PCA的内部推导过程 原理篇 根据我们...

大熊的博客 6742

Excel药品说明书数据库:从零开始搭建医药数据查询系统(附完整模板)

本文详细介绍了如何从零开始搭建Excel药品说明书数据库,提供完整的医药数据查询系统模板。涵盖数据库架构设计、数据清洗标准化、智能查询系统搭建及维护优化,帮助医药从业者高效管理药品信息,提升查询速度和准确性。

weixin_28327051的博客 236

pca主成分分析结果解释_主成分分析(PCA)原理及SPSS实操

主成分分析(principal components analysis,简称PCA)是一种降维分析,将多个指标转换为少数几个综合指标,由霍特林于1933年首先提出。主成分分析方法之所以能够降维,本质是因为原始变量之间存在着较强的相关性,如果原始变量之间的相关性较弱,则主成分分析不能起到很好的降维效果,所以进行主成分分析前最好先进行相关性分析。一个例子中心城市的综合发展是带动周边地区经济发展的重要动...

weixin_39759155的博客 1万+

C# emgu.cv图像识别 从大图中寻找小图,判断存在图的相似度

这是2个问题,我采用emgu.cv来解决这个识别问题,这里需要在nuget中引用emgu。最近写了一个在一张图片中,截取一部分,通过机器判断截取图片是这张图片的。第一、通过小图去找判断是否存在大图中,第二、小图存在大图的什么位置。

一个专注于技术研究创新的程序员 2467

快速搞定PCA(主成分分析)(原理 代码 案例)

1.1原理 主成分分析是最常用的线性降维方法,通过某种线性投影,将高维的数据映射到低维的空间,并期望在所投影的维度上数据的信息量最大(方差最大),以较少的数据维度去反映原数据的特性。 在机器学习的实际问题中,一般都会有几十个指标,高维数据离散度较大,不利于训练出较好的参数,而低维数据则可以更好的训练参数,因此可以通过降维的形式,计算出k列映射数据替代原数据。 1.2主成分分析的几何解释 通过旋转变换坐标轴使得n个样品点在F1轴方向上的离散程度最大,即F1的方差最大。变量F1代表了原始数.

qq_48774513的博客 9038

智慧楼宇解决方案-全套大合集

智慧楼宇解决方案,楼宇能耗-环境-设备统一管控解决方案。

byte58的博客 2592

带你学习Android中的ContentObserver

通过使用,开发者可以有效地监听系统设置的变化,例如屏幕亮度等。这种机制使得应用能够动态响应系统设置的更改,提升用户体验。在实现需要与系统设置交互的应用时,合理使用是非常重要的。

执剑人 1312

主成分分析(PCA)原理及其python实现

主成分分析学习过程以及程序,适合初学者

qq_46033892的博客 5024

Unity学习笔记之【IK反向动力学操作】

反向动力学,简称IK。相较于正向动力学,反向动力学旨在子级对父级产生的影响。使用IK,可以实现根据目标位置或方向来计算并调整角色的关节(骨骼)链,以使角色的末端(如手臂、腿部等)达到预期的位置或取向。通过使用 Unity 的 IK 功能,你可以实现各种复杂的角色动画效果,如角色抓取、足部对齐、手臂跟随等。 2. 将所视的目标物体拖拽绑定 4. 实现效果如下 :移动角色时注释立方体 实现效果如下

m0_47351846的博客 2956

pca主成分分析_干货 | 如何通俗易懂地理解PCA主成分分析

看点01主成分分析(PCA)主成分分析(Principal Component Analysis,PCA)是一种无监督学习的多元统计分析方法。PCA分析的主要原理是将高维数据投影到较低维空间,提取多元事物的主要因素,揭示其本质特征。它可以高效地找出数据中的主要部分,将原有的复杂数据降维处理。PCA分析被广泛应用于很多领域,比如理论物理学、气象学、心理学、生物学、化学、工程学等。看点02P...

weixin_39614874的博客 4万+

蓝桥杯第七届省赛试题--“模拟风扇控制系统”

题目要求 功能简述 “模拟风扇控制系统”能够模拟电风扇工作,通过按键控制风扇的转动速度和定时时间,数码管实时显示风扇的工作模式,动态倒计时显示剩余的定时时间,系统主要由数码管显示、单片机最小系统、按键输入和电机控制保护电路组成,系统框图如图 1 所示: 单总线驱动程序、CT107D 单片机考试平台电路原理图以及本题所涉及到的芯片数据手册,可参考计算机上的电子文档。程序流程图及相关工程文件请以考生...

qq_43280087的博客 2661

下载和运行GitHub上的代码教程总结

从昨天开始就想着从GitHub上下载一个开源的Vue的实战项目,希望能从中学习更多的Vue的实用内容,结果搞了半天好不容易下载了,不知道怎么弄。然而,今天终于成功了,激动地我赶紧来记录一下。 如何从GitHub上下载自己需要的项目: 1.首先,你要有一个自己的GitHub(https://github.com/)的账号。关于如何注册GitHub的账号以及如何获取你的SSH密钥这个问题,请大家参...

不怕万人阻挡,只怕自己投降 29万+

主成分分析(PCA)原理与实战:从0到1彻底掌握

主成分分析(PCA)原理与实战:从0到1彻底掌握

Serven的博客 3791

基于YOLO26深度学习框架的文档表格识别系统的算法研究实现方法

本文研究了基于YOLO26深度学习框架的文档表格识别系统实现方法。系统采用YOLO26网络架构,通过数据预处理、模型训练、检测推理和表格分析四个模块实现高效表格识别。研究详细阐述了数据归一化、增强等技术处理,以及采用迁移学习策略优化模型训练过程。实验表明,该系统能有效识别多种表格结构并生成结构化数据,为文档自动化处理提供了可靠解决方案。

一键难忘的博客 976

这次终于理解了PCA主成分分析(附代码)

在降维过程中,我们会减少特征的数量,这意味着删除数据,数据量变少则表示模型可以获取的信息会变少,模型的表现可能会因此受影响。同时,在高维数据中,必然有一些特征是不带有有效的信息的(比如噪音),或者有一些特征带有的信息和其他一些特征是重复的(比如一些特征可能会线性相关)。我们希望能够找出一种办法来帮助我们衡量特征上所带的信息量,让我们在降维的过程中,能够即减少特征的数量,又...

Python数据之道 5942

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

上一篇: 最通俗的 LDA 线性判别分析教程
下一篇: 通俗易懂讲透AdaGrad优化算法
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值