机器学习特征选择与降维:主成分分析 PCA(超通俗完整版)
在机器学习中,我们经常遇到特征太多、维度太高的问题:计算慢、冗余强、容易过拟合。主成分分析(PCA)就是最经典、最常用的无监督降维 + 特征去冗余方法。
这篇文章用大白话 + 公式详解 + 实战代码 + 面试总结,从原理到落地讲透 PCA,本科生、研究生都能轻松看懂。
一、先搞懂:为什么要用 PCA?
1. 现实痛点
- 特征成百上千,训练极慢
- 很多特征高度相关(比如“身高”和“腿长”)
- 维度灾难导致模型过拟合
- 高维数据无法画图可视化
2. PCA 到底在做什么?
一句话:
把很多相关的原始特征,压缩成少数几个不相关的“综合新特征”,同时保留最多的数据信息。
举个例子:
你要评价一个苹果,有重量、大小、直径、周长、甜度、酸度……
PCA 会帮你合成1~2个综合指标,比如“综合品质”“口感差异”,用这两个指标就能代表原来所有特征。
二、PCA 核心思想(超通俗)
PCA 的目标只有一个:
在降维的同时,让数据投影后的差异(方差)最大。
- 方差越大 → 信息保留越多
- 方差越小 → 信息丢失越多
- 主成分之间互相正交、完全不相关
三、PCA 数学原理(一步步讲清楚)
1. 步骤总览
- 数据标准化(必须做!)
- 计算协方差矩阵(看特征相关性)
- 对协方差矩阵做特征值分解
- 按特征值从大到小选前 k 个主成分
- 投影得到低维数据
2. 步骤1:数据标准化(最关键!)
PCA 非常依赖方差大小,如果特征单位不一样(比如米、厘米、千克),结果会完全跑偏。
做法:
把每个特征变成 均值=0,方差=1
xnew=x−μσx_{new} = \frac{x - \mu}{\sigma}xnew=σx−μ
作用:
- 消除量纲影响
- 让所有特征同等重要
3. 步骤2:计算协方差矩阵
协方差矩阵用来衡量特征之间的线性相关程度。
设标准化后数据为 X~∈Rn×d\tilde{X} \in \mathbb{R}^{n×d}X~∈Rn×d
协方差矩阵:
C=1n−1X~TX~C = \frac{1}{n-1} \tilde{X}^T \tilde{X}C=n−11X~TX~
- 维度:d×d(d 是特征数)
- 对角线:每个特征自己的方差
- 非对角线:两个特征的相关程度
4. 步骤3:特征值分解(PCA 灵魂)
我们要找一个方向 www,让数据投影后方差最大。
最终会推导出:
Cw=λwC w = \lambda wCw=λw
这就是特征值方程:
- λ\lambdaλ:特征值 → 代表该方向的方差大小
- www:特征向量 → 代表主成分方向
规则:
特征值越大 → 该主成分保留信息越多
5. 步骤4:选择前 k 个主成分
按特征值从大到小排序,选前 k 个特征向量组成变换矩阵 WkW_kWk。
怎么选 k?用累计方差贡献率:
贡献率=∑i=1kλi∑j=1dλj贡献率 = \frac{\sum_{i=1}^k \lambda_i}{\sum_{j=1}^d \lambda_j}贡献率=∑j=1dλj∑i=1kλi
通用标准:
- 保留 90%~95% 信息即可
- 画图、可视化一般选 k=2 或 k=3
6. 步骤5:数据投影(降维完成)
Z=X~⋅WkZ = \tilde{X} \cdot W_kZ=X~⋅Wk
- Z:降维后的数据(n×k)
- 每行一个样本,每列一个主成分
四、PCA 完整算法流程(背诵版)
- 对数据标准化(零均值、单位方差)
- 计算协方差矩阵
- 求协方差矩阵的特征值与特征向量
- 按特征值从大到小排序
- 取前 k 个特征向量构成投影矩阵
- 将原始数据投影,得到低维表示
五、实战案例:鸢尾花 PCA 降维(可直接运行)
1. 数据集说明
- 4个特征:花萼长/宽、花瓣长/宽
- 3类花
- 目标:把 4 维降到 2 维,可视化 + 分类
2. 完整 Python 代码
# 1. 导入库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
# 2. 加载数据
iris = load_iris()
X = iris.data
y = iris.target
feature_names = iris.feature_names
print("数据形状:", X.shape)
print("特征名:", feature_names)
# 3. 标准化(必须!)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 4. PCA 训练(先看全部主成分)
pca_all = PCA(n_components=4)
pca_all.fit(X_scaled)
# 5. 查看方差贡献率
print("各主成分方差贡献率:", pca_all.explained_variance_ratio_)
print("累计贡献率:", np.cumsum(pca_all.explained_variance_ratio_))
# 6. 降到2维并可视化
pca_2d = PCA(n_components=2)
X_pca_2d = pca_2d.fit_transform(X_scaled)
plt.figure(figsize=(8,6))
for label in np.unique(y):
plt.scatter(X_pca_2d[y==label,0], X_pca_2d[y==label,1], label=iris.target_names[label])
plt.xlabel("主成分1")
plt.ylabel("主成分2")
plt.title("鸢尾花 PCA 2D 可视化")
plt.legend()
plt.grid(True)
plt.show()
# 7. 绘制累计方差贡献率曲线
plt.figure(figsize=(6,4))
plt.plot(range(1,5), np.cumsum(pca_all.explained_variance_ratio_), marker='o')
plt.xlabel("主成分个数")
plt.ylabel("累计方差贡献率")
plt.title("累计方差贡献率")
plt.grid(True)
plt.show()
# 8. 对比:原始特征 vs PCA 降维分类效果
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3, random_state=42)
# 原始4维
model_raw = LogisticRegression(max_iter=200)
model_raw.fit(X_train, y_train)
acc_raw = accuracy_score(y_test, model_raw.predict(X_test))
# PCA 2维
X_train_pca = pca_2d.fit_transform(X_train)
X_test_pca = pca_2d.transform(X_test)
model_pca = LogisticRegression(max_iter=200)
model_pca.fit(X_train_pca, y_train)
acc_pca = accuracy_score(y_test, model_pca.predict(X_test_pca))
print(f"原始4维准确率: {acc_raw:.4f}")
print(f"PCA 2维准确率: {acc_pca:.4f}")
3. 结果说明
- 前2个主成分通常能保留 95%+ 信息
- 降维后分类准确率几乎不变
- 画图清晰可分,非常适合探索性分析
六、PCA 优点与缺点(面试高频)
✅ 优点
- 无监督,不需要标签
- 强力去冗余、消除多重共线性
- 大幅降维、提速、防过拟合
- 支持高维数据可视化(2D/3D)
- 数学严谨、实现简单、通用性极强
❌ 缺点
- 主成分难以解释物理意义
- 不利用标签信息,可能丢失对分类有用信息
- 对异常值敏感
- 只能做线性变换,非线性数据效果差
- 是特征变换,不是传统特征选择
七、PCA 与常见特征选择/降维方法对比
| 方法 | 类型 | 监督 | 可解释 | 生成新特征 | 处理共线性 | 非线性 |
|---|---|---|---|---|---|---|
| PCA | 投影降维 | 否 | 差 | 是 | 强 | 弱 |
| 方差选择 | 过滤 | 否 | 好 | 否 | 弱 | 弱 |
| RFE | 包装 | 是 | 很好 | 否 | 中 | 弱 |
| Lasso | 嵌入 | 是 | 很好 | 否 | 强 | 弱 |
| 随机森林重要性 | 嵌入 | 是 | 好 | 否 | 中 | 中 |
| Kernel PCA | 核降维 | 否 | 很差 | 是 | 强 | 强 |
| t-SNE/UMAP | 流形 | 否 | 差 | 是 | 中 | 强 |
八、什么时候用 PCA?什么时候不用?
✅ 推荐用 PCA
- 特征高维、冗余、强相关
- 无标签数据、聚类、可视化、数据探索
- 需要降维提速,作为模型预处理
- 高维小样本(如基因、文本、图像)
❌ 不推荐用 PCA
- 要求可解释原始特征
- 数据有强非线性结构
- 需要监督信息做特征选择
- 对异常值非常敏感的任务
九、使用 PCA 必知技巧
- 必须标准化,否则结果完全跑偏
- 用累计方差贡献率选 k
- 高维数据优先用 SVD 版本 PCA(更快更稳)
- 异常值要提前处理
- 分类任务可先用 PCA 再用 LDA 效果更好
十、总结(一句话记住 PCA)
PCA 是无监督线性降维,通过最大化方差保留信息,把高维相关特征变成低维不相关主成分,实现去冗余、提速、可视化,是机器学习最基础也最实用的特征处理工具。
22万+



被折叠的 条评论
为什么被折叠?



