【特征选择与降维】主成分分析 PCA

PCA详解 PCA,即主成分分析,通常用于数据的降维、去噪,可以有效地解决过拟合问题,提高训练效率 阅读详情

机器学习特征选择与降维:主成分分析 PCA(超通俗完整版)

在机器学习中,我们经常遇到特征太多、维度太高的问题:计算慢、冗余强、容易过拟合。主成分分析(PCA)就是最经典、最常用的无监督降维 + 特征去冗余方法。

这篇文章用大白话 + 公式详解 + 实战代码 + 面试总结,从原理到落地讲透 PCA,本科生、研究生都能轻松看懂。


一、先搞懂:为什么要用 PCA?

1. 现实痛点

  • 特征成百上千,训练极慢
  • 很多特征高度相关(比如“身高”和“腿长”)
  • 维度灾难导致模型过拟合
  • 高维数据无法画图可视化

2. PCA 到底在做什么?

一句话:
把很多相关的原始特征,压缩成少数几个不相关的“综合新特征”,同时保留最多的数据信息。

举个例子:
你要评价一个苹果,有重量、大小、直径、周长、甜度、酸度……
PCA 会帮你合成1~2个综合指标,比如“综合品质”“口感差异”,用这两个指标就能代表原来所有特征。


二、PCA 核心思想(超通俗)

PCA 的目标只有一个:
在降维的同时,让数据投影后的差异(方差)最大。

  • 方差越大 → 信息保留越多
  • 方差越小 → 信息丢失越多
  • 主成分之间互相正交、完全不相关

三、PCA 数学原理(一步步讲清楚)

1. 步骤总览

  1. 数据标准化(必须做!)
  2. 计算协方差矩阵(看特征相关性)
  3. 对协方差矩阵做特征值分解
  4. 按特征值从大到小选前 k 个主成分
  5. 投影得到低维数据

2. 步骤1:数据标准化(最关键!)

PCA 非常依赖方差大小,如果特征单位不一样(比如米、厘米、千克),结果会完全跑偏。

做法:
把每个特征变成 均值=0,方差=1
xnew=x−μσx_{new} = \frac{x - \mu}{\sigma}xnew​=σx−μ​

作用:

  • 消除量纲影响
  • 让所有特征同等重要

3. 步骤2:计算协方差矩阵

协方差矩阵用来衡量特征之间的线性相关程度。

设标准化后数据为 X~∈Rn×d\tilde{X} \in \mathbb{R}^{n×d}X~∈Rn×d
协方差矩阵:
C=1n−1X~TX~C = \frac{1}{n-1} \tilde{X}^T \tilde{X}C=n−11​X~TX~

  • 维度:d×d(d 是特征数)
  • 对角线:每个特征自己的方差
  • 非对角线:两个特征的相关程度

4. 步骤3:特征值分解(PCA 灵魂)

我们要找一个方向 www,让数据投影后方差最大。
最终会推导出:
Cw=λwC w = \lambda wCw=λw

这就是特征值方程:

  • λ\lambdaλ:特征值 → 代表该方向的方差大小
  • www:特征向量 → 代表主成分方向

规则:
特征值越大 → 该主成分保留信息越多


5. 步骤4:选择前 k 个主成分

按特征值从大到小排序,选前 k 个特征向量组成变换矩阵 WkW_kWk​。

怎么选 k?用累计方差贡献率:
贡献率=∑i=1kλi∑j=1dλj贡献率 = \frac{\sum_{i=1}^k \lambda_i}{\sum_{j=1}^d \lambda_j}贡献率=∑j=1d​λj​∑i=1k​λi​​

通用标准:

  • 保留 90%~95% 信息即可
  • 画图、可视化一般选 k=2 或 k=3

6. 步骤5:数据投影(降维完成)

Z=X~⋅WkZ = \tilde{X} \cdot W_kZ=X~⋅Wk​

  • Z:降维后的数据(n×k)
  • 每行一个样本,每列一个主成分

四、PCA 完整算法流程(背诵版)

  1. 对数据标准化(零均值、单位方差)
  2. 计算协方差矩阵
  3. 求协方差矩阵的特征值与特征向量
  4. 按特征值从大到小排序
  5. 取前 k 个特征向量构成投影矩阵
  6. 将原始数据投影,得到低维表示

五、实战案例:鸢尾花 PCA 降维(可直接运行)

1. 数据集说明

  • 4个特征:花萼长/宽、花瓣长/宽
  • 3类花
  • 目标:把 4 维降到 2 维,可视化 + 分类

2. 完整 Python 代码

# 1. 导入库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# 2. 加载数据
iris = load_iris()
X = iris.data
y = iris.target
feature_names = iris.feature_names

print("数据形状:", X.shape)
print("特征名:", feature_names)

# 3. 标准化(必须!)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 4. PCA 训练(先看全部主成分)
pca_all = PCA(n_components=4)
pca_all.fit(X_scaled)

# 5. 查看方差贡献率
print("各主成分方差贡献率:", pca_all.explained_variance_ratio_)
print("累计贡献率:", np.cumsum(pca_all.explained_variance_ratio_))

# 6. 降到2维并可视化
pca_2d = PCA(n_components=2)
X_pca_2d = pca_2d.fit_transform(X_scaled)

plt.figure(figsize=(8,6))
for label in np.unique(y):
    plt.scatter(X_pca_2d[y==label,0], X_pca_2d[y==label,1], label=iris.target_names[label])
plt.xlabel("主成分1")
plt.ylabel("主成分2")
plt.title("鸢尾花 PCA 2D 可视化")
plt.legend()
plt.grid(True)
plt.show()

# 7. 绘制累计方差贡献率曲线
plt.figure(figsize=(6,4))
plt.plot(range(1,5), np.cumsum(pca_all.explained_variance_ratio_), marker='o')
plt.xlabel("主成分个数")
plt.ylabel("累计方差贡献率")
plt.title("累计方差贡献率")
plt.grid(True)
plt.show()

# 8. 对比:原始特征 vs PCA 降维分类效果
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3, random_state=42)

# 原始4维
model_raw = LogisticRegression(max_iter=200)
model_raw.fit(X_train, y_train)
acc_raw = accuracy_score(y_test, model_raw.predict(X_test))

# PCA 2维
X_train_pca = pca_2d.fit_transform(X_train)
X_test_pca = pca_2d.transform(X_test)
model_pca = LogisticRegression(max_iter=200)
model_pca.fit(X_train_pca, y_train)
acc_pca = accuracy_score(y_test, model_pca.predict(X_test_pca))

print(f"原始4维准确率: {acc_raw:.4f}")
print(f"PCA 2维准确率: {acc_pca:.4f}")

3. 结果说明

  • 前2个主成分通常能保留 95%+ 信息
  • 降维后分类准确率几乎不变
  • 画图清晰可分,非常适合探索性分析

六、PCA 优点与缺点(面试高频)

✅ 优点

  1. 无监督,不需要标签
  2. 强力去冗余、消除多重共线性
  3. 大幅降维、提速、防过拟合
  4. 支持高维数据可视化(2D/3D)
  5. 数学严谨、实现简单、通用性极强

❌ 缺点

  1. 主成分难以解释物理意义
  2. 不利用标签信息,可能丢失对分类有用信息
  3. 对异常值敏感
  4. 只能做线性变换,非线性数据效果差
  5. 是特征变换,不是传统特征选择

七、PCA 与常见特征选择/降维方法对比

方法类型监督可解释生成新特征处理共线性非线性
PCA投影降维否差是强弱
方差选择过滤否好否弱弱
RFE包装是很好否中弱
Lasso嵌入是很好否强弱
随机森林重要性嵌入是好否中中
Kernel PCA核降维否很差是强强
t-SNE/UMAP流形否差是中强

八、什么时候用 PCA?什么时候不用?

✅ 推荐用 PCA

  • 特征高维、冗余、强相关
  • 无标签数据、聚类、可视化、数据探索
  • 需要降维提速,作为模型预处理
  • 高维小样本(如基因、文本、图像)

❌ 不推荐用 PCA

  • 要求可解释原始特征
  • 数据有强非线性结构
  • 需要监督信息做特征选择
  • 对异常值非常敏感的任务

九、使用 PCA 必知技巧

  1. 必须标准化,否则结果完全跑偏
  2. 用累计方差贡献率选 k
  3. 高维数据优先用 SVD 版本 PCA(更快更稳)
  4. 异常值要提前处理
  5. 分类任务可先用 PCA 再用 LDA 效果更好

十、总结(一句话记住 PCA)

PCA 是无监督线性降维,通过最大化方差保留信息,把高维相关特征变成低维不相关主成分,实现去冗余、提速、可视化,是机器学习最基础也最实用的特征处理工具。

主成分分析(PCA)原理详解 机器学习中有关特征选择的问题,其实就是要剔除和类标签无关的特征,去除噪声或者冗余。在这种情况下,需要一种特征降维的方法来减少特征数,减少噪音和冗余,减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上(k<n),这k维是全新的正交特征。这k维特征称为主成分,是重新构造出来的k维特征,而不是简单地从n维特征中去除其余n-k维特征。现在的问题是,对于很高维数据,你能想象其分布吗?就算能描述分布,如何精确地找到这些主成分的轴?如何衡量你提取的主成分到底占了整个数据的多少信息?所以,我们就要用到主成分分析的处 阅读详情

相关推荐

PCA:详细解释主成分分析

1 PCA目的/作用 主成分分析算法(PCA)是最常用的线性降维方法,它的目标是通过某种线性投影,将高维的数据映射到低维的空间中,并期望在所投影的维度上数据的信息量最大(方差最大),以此使用较少的数据维度,同时保留住较多的原数据点的特性。 PCA降维的目的,就是为了在尽量保证“信息量不丢失”的情况下,对原始特征进行降维,也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影。将原特征投影到...

lanyuelvyun的博客 22万+

主成分分析(PCA)详解

主成分分析(PCA)原理与应用

weixin_60737527的博客 9万+

Day 43:数据降维:特征选择 & 主成分分析PCA

Python 回忆录2020/1/26数据降维特征选择特征选择的工具主成分分析降维 2020/1/26 数据降维 其实就是数据特征数量的减少,和数组的维度根本不一样。对于数据降维有两个方法: 1.特征选择 2.主成分分析 特征选择 就是选择部分特征用来当作机器学习的数据。 选择特征选择的原因: 冗余:部分特征相似,关联度高。容易消耗计算性能,可以不需要。 噪声:部分特征对预测结果有很大的影响 特征选择的工具 Filter(过滤式):VarlanceThreshold (Varlance方差) 其实就

weixin_50192514的博客 547

PCA(主成分分析方法)

目录 1. 降维问题 2. 向量与基变换 2.1 内积与投影 2.2 基 2.3 基变换的矩阵 3.协方差矩阵及优化目标 3.1 方差 3.2协方差 3.3协方差矩阵 3.4协方差矩阵对角化 4. 算法与实例 4.1 PCA算法 4.2 实例 5. 讨论 PCA(Principal Component Analysis)是常用的数据分析方法。...

YMilton的专栏 3万+

Sklearn 机器学习 数据降维PCA 使用PCA算法

使用 Scikit-Learn 实现 PCA 主成分分析的完整指南。

Kant2048的博客 1281

第二十届全国大学生智能车竞赛-地瓜机器人智慧医疗挑战赛技术解析与实战指南

本文深入解析了第二十届全国大学生智能车竞赛-地瓜机器人智慧医疗挑战赛的核心技术。内容涵盖从零搭建数字孪生环境、实现AI视觉任务(二维码识别、引导线追踪、目标检测)、在边缘设备部署轻量化大模型进行图生文描述,到遥操作与自主控制的平滑切换,并提供了基于ROS2的系统集成与赛场实战指南,助力参赛者高效备赛。

weixin_29252171的博客 2782

sklearn 数据预处理,数据降维之特征选择,PCA主成分分析

目录 1.数据集的维度 2.什么是数据集降维 3.数据降维的方式 4.特征选择 1.特征选择的原因 2.特征选择是什么 3.特征选择的主要方法 4.Filter(过滤式):VarianceThreshold 5.PCA主成分分析 sklearn对pca的支持 1.数据集的维度 何为维度?对于一组数据集,其特征的数量即为改组数据的维度;如[90,2,10,40]这样一组数据的维度即为4 2.什么是数据集降维 如图所示,左边的一组数据为三维数据,假设其三个特征为x,y,z,假设不考.

ck784101777的博客 6496

持续集成介绍及Jenkins自动化测试部署

学习持续集成及jenkins的自动化测试部署

ouihsiad的博客 4580

sklearn教程05 - 特征选择降维(低方差过滤,皮尔逊相关系数),PCA主成分分析降维

sklearn教程05 - 特征选择降维(低方差过滤,皮尔逊相关系数),PCA主成分分析降维

山顶极客 974

ctftools-all-in-one使用说明

OAEP (Optimal Asymmetric Encryption Padding) 是一种用于RSA加密的填充方案,目的是提高RSA加密的安全性。在CTF比赛中,如果模数N的两个因子比较接近,使用"费马分解(N)"可能会更快地得到结果;OAEP 是 RSA 的一种标准填充方式(在 PKCS#1 v2.0+ 中定义),因此这类题目本质上仍是 RSA 题,但。,导致你不能直接用常规的 RSA 解密公式 �=�� mod �m=cdmodN 得到有意义的明文。如果你在 CTF 中遇到 RSA 题,

2501_91682449的博客 1729

【matlab】MATLAB 变量详解与应用

在 MATLAB 中,变量可以通过赋值操作进行定义。例如,要定义一个名为xx = 10;在这个例子中,我们创建了一个名为x的变量,并将其赋值为 10。需要注意的是,MATLAB 是一种动态类型语言,因此不需要显式地声明变量的类型。变量名必须以字母开头。变量名可以包含字母、数字和下划线。变量名区分大小写。不要使用 MATLAB 中的关键字(如forif等)作为变量名。

小吴同学的博客 2215

机器学习:数据降维特征选择和主成分分析PCA

数组维度 数据维度:特征数量 1、特征选择 主要方法: Filter 过滤式 (方差variance) Embedded 嵌入式(正则化,决策时) Wrapper 包裹式 神经网络 代码示例 from sklearn.feature_selection import VarianceThreshold # 特征选择-删除低方差的特征 data = [ [0, 2, 0, 3], ...

彭世瑜的博客 3011

论文必备 - YOLOv13热力图可视化,支持指定模型,指定显示层,设置置信度,以及10种可视化实现方式

本文带来的是YOLOv13热力图可视化功能,支持,以及。我们经常看到一些论文里绘制了不同的热力图,一方面能够直观的感受其模型的有效性,另一方面也丰富了论文内容。特别是在使用了注意力模块的网络中,热力图就可以验证注意力机制是否真正聚焦到了预期的重要特征上,以便对模型的有效性和合理性进行评估。例如这篇文章中展示的,就很能够表达作者改进后的模型相比之前模型的优越性。

Limiiiing的博客 491

简单粗暴理解与实现机器学习之聚类算法(六):【特征工程】-特征降维、特征选择、主成分分析(PCA)、案例

聚类算法 文章目录聚类算法学习目标6.6 特征降维1 降维1.1 定义1.2 降维的两种方式2 特征选择2.1 定义2.2 方法2.3 低方差特征过滤2.3.1 API2.3.2 数据计算2.4 **相关系数**2.4.1 皮尔逊相关系数(Pearson Correlation Coefficient)2.4.2 斯皮尔曼相关系数(Rank IC)3 主成分分析3.1 什么是主成分分析(PCA)3...

汪雯琦的博客 2529

PCL学习笔记(四)——点云曲面重建

文章目录一、凸包算法二、 单纯的点云数据固然很好,但仅仅是点的话仍是不够的,因为这不利于我们后续对实体对象的渲染与各种应用,如计算实体的表面积、体积等等,所以这就需要我们对实体进行点云的曲面重建。 一、凸包算法 在计算机图形学中,凸包是指在任意维空间中包含某一有限点集P的最小凸集,它由凸包顶点构成,在二维上其表现形式为一个凸多边形,而在三维上则表现为一个凸多面体。在二维层面上来讲,最常用的凸包算法有Graham扫描法和Jarvis卷包裹法,但前者并不适用于三维层面,后者倒是可以扩展到三维。除此之外,在

dayuhaitang1的博客 6912

使用SSC添加大量的SDO条目

使用SSC添加大量的SDO条目 SSC用表格添加SDO,PDO部分必须指定到0x1600和0x1A00分配TxPdo和RxPdo映射,在0x1C12和0x1C13分别分配到SM2和SM3。在0x6000和0x7000未指定的entry就是SDO部分。

PI_sunyang的博客 3173

机器学习(5)降维 -- 特征选择(低方差过滤与相关系数)与主成分分析(PCA降维)

一、基础理论 1、降维定义 降维是指在特定条件下,降低随机变量(特征)个数,得到一组“不相关”变量的过程。(不仅仅是降低纬度) 零维:标量 一维:向量 二维:矩阵 三维:多个二维数组嵌套 ...... 相关特征:例如相对湿度与降水量。 2、降维对象及目标 降维对象:二维数组。 降维目标:得到不相关特征变量。(太多相关特征会造成特征冗余(即特征过多)) ...

great_yzl的博客 4642

【AI智能体】Claude Code +Superpowers 项目实战操作详解

Claude Code +Superpowers 项目实战操作详解

congge 4056

【机器学习】--6.PCA主成分分析(降维)

设有m条n维数据。m*n矩阵。

我是个好人呀,O(∩_∩)O 7646

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

聚类算法之特征降维-特征选择、主成分分析

聚类算法之特征降维-特征选择、主成分分析 1 降维 1.1 定义 【就是改变特征值,选择哪列保留,哪列删除;目标是得到一组“不相关”的主变量】 降维是指在某些限定条件下,降低随机变量(特征)个数,得到一组“不相关”主变量的过程 降低随机变量的个数 相关特征(correlated feature) 相对湿度与降雨量之间的相关 等等 正是因为在进行训练的时候,我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强,对于算法学习预测会影响较大 1.2 降...

IT之一小佬的博客 1万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

数据降维(特征选择&PCA)

数据降维(减少特征值) 维度:特征的数量 数据降维方式: 特征选择 主成分分析 1、特征选择 特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征,特征在选择前和选择后可以改变值、也可以不改变值,但是选择后的特征维数肯定比选择前小,毕竟我们只选择了其中的一部分特征。 特征选择的原因: (1)冗余:部分特征的相关度高,容易消耗计算性能 (2)噪声:部分特征对预测结果有影响 主要方法:(三大武器) (1)Filter(过滤式):VarianceThresho

weixin_42067873的博客 2102

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

主成分分析PCA降维可视化(PCA降维算法)-MATLAB代码实现

主成分分析PCA降维可视化(PCA降维算法)-MATLAB代码实现

MATLAB神经网络 3646

降维基础知识(样本均值、样本方差、中心矩阵)与PCA(最大投影方差,最小重构代价,SVD分解)

降维分为三种:特征选择、线性降维和非线性降维。本文主要介绍一些关于降维的基本知识以及线性降维的典例PCA(主成分分析法)

KI的博客 10万+

对机器学习中的降维算法(PCA)的理解

PCA主成分分析 什么是维度? 在python中,对nump数组来说,维度就是.shape返回的结果,返回几个数字就是几维。对于DataFrame来说,一个DataFrame就是一张表,一张表最多二维(m行,n列)。其中m行是m个样本,n列是每一个样本所对应的n 个特征,该表就可以看作样本的特征矩阵。对每一张表来说,维度指的是样本数量m或者特征数量,(一般指的是特征数量n),因此可以简单地理解为有几个特征就是几维。 降维算法中的“降维”(decomposition)指的就是降低特征矩阵中特征数量,从而降低算

思维特二的博客 2110

机器学习:数据降维(特征选择和主成分分析)

数据降维 这里需要注意,我们当前说的降维是特征的数量,比如说四个特征我们可以说是四维特征,不是数组的降维。 数据降维就是把特征数量进行减少。 数据降维方式: 1.特征选择 2.主成分分析 1.特征选择: 特征选择:选择部分特征当做机器学习的相关数据。 特征选择原因: 冗余:部分特征的相关度高,容易消耗计算性能 噪声:部分特征对预测结果有负影响 特征选择的主要方法: 主要方法(三大武器):Filte...

qq_45315982的博客 2718

机器学习(六):特征降维和主成分分析法

机器学习(六):特征降维和主成分分析法

拥有百余位万粉技术博主、200余位可合作代发博主,私域技术社群规模达千人,商务合作私信 2416
上一篇: 【特征选择】信息增益
下一篇: 机器学习非线性降维:Isomap 等距映射
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值