降维算法之KPCA（核主成分分析）

文弱_书生

于 2025-04-04 13:02:01 发布

阅读量842

点赞数 29

分类专栏：降维算法整理文章标签：算法降维算法核主成分分析 KPCA

本文链接：https://blog.youkuaiyun.com/qq_45670407/article/details/146997364

版权

降维算法整理专栏收录该内容

10 篇文章

订阅专栏

核主成分分析（Kernel Principal Component Analysis, KPCA）算法详解

先说理解：

核主成分分析（Kernel PCA，KPCA）是主成分分析（PCA）的“升级版”，它能处理更复杂的数据。通俗来说，如果说 PCA 是帮你从一堆杂乱的数据里找到“直线方向”的重点，那 KPCA 就像是给 PCA 加了个“变形魔法”，能把弯弯曲曲、不好用直线分开的数据“拉直”，再找出重点。

让我用一个生活化的例子来解释：

场景：收拾杂乱的房间

想象你的房间里堆满了东西：书、衣服、玩具，乱七八糟地缠在一起。你想整理出几个主要类别（像 PCA 那样），但问题是，这些东西不是简单地按直线排好，有些书和衣服混在一起，形状像个“圈”或“曲线”，用直线根本分不清。

这时，KPCA 就像一个“空间魔法师”：

拉开空间：它把房间里的东西“扔”到一个更高维的空间（想象从平面的地板变成一个3D的大仓库）。在这个新空间里，原本缠在一起的东西被拉开了，弯曲的形状变成了能用直线分开的简单形状。
找方向：然后，它再像 PCA 那样，找到这个新空间里变化最大的几个“方向”（主成分），抓住数据的重点。
简化：最后，把这些重点投影回来，帮你把乱七八糟的东西整理得井井有条。

为什么需要“核”？

这个“拉开空间”的魔法靠的是“核函数”（Kernel Function）。核函数就像一个“隐形搬运工”，它不用真的把数据搬到高维空间，而是用数学技巧“假装”已经搬过去了。这样既省力，又能处理复杂情况。

举个例子

假设你有两组点：一组围成一个圈（内部是类别 A），另一组在圈外（类别 B）。用普通的 PCA，你只能画直线，怎么也分不开这个圈。但 KPCA 用核函数把这个“圈”拉到高维空间，变成一个能用平面分开的样子，然后再找出主要方向，分清 A 和 B。

和 PCA 的区别

PCA：只能处理可以用直线分的数据，像整理摆得整整齐齐的书架。
KPCA：能处理弯曲、缠绕的数据，像整理一团乱麻，找出隐藏的规律。

生活中的意义

KPCA 就像你在看一堆杂乱无章的照片，想找出“主题”。普通 PCA 可能只能分出“人”和“风景”，但如果照片里有复杂的模式（比如“圆形构图的艺术照”），KPCA 能把这些复杂模式解开，告诉你更深层的规律。

简单来说，KPCA 就是：用魔法把复杂数据拉直，再抓住重点，化弯为直，化繁为简！

1. KPCA 的基本概念

核主成分分析（Kernel PCA, KPCA）是**主成分分析（PCA）的非线性扩展版本。PCA 只能发现数据的线性结构，而 KPCA 通过核方法（Kernel Trick）**将数据映射到高维特征空间，从而能够发现非线性特征。

核心目标

在高维特征空间中执行 PCA，使得在输入空间中的非线性数据变得可分。
通过核函数计算数据点的相似性，避免直接计算高维映射。

2. KPCA 的数学原理

设数据集包含 $m$ 个样本，每个样本有 $n$ 维特征，即数据矩阵为：
$[x_1, x_2, ..., x_m] \quad x_i \in \mathbb{R}^n$
假设存在一个非线性映射 $\phi$ ，将数据映射到高维特征空间：
$\phi: x_i \to \phi(x_i)$
此时，PCA 在高维空间 $\phi(x_i)$ 上进行，而无需显式计算映射 $\phi(x_i)$ ，通过核方法间接计算高维空间的内积。

2.1 计算核矩阵

使用核函数计算所有数据点的相似性，构造 $\times m$ 的核矩阵 $K$ ：
$K_{ij} = k(x_i, x_j) = \langle \phi(x_i), \phi(x_j) \rangle$
常见的核函数包括：

高斯核（RBF 核）：
$k(x_i, x_j) = \exp \left( -\frac{\|x_i - x_j\|^2}{2\sigma^2} \right)$
多项式核：
$k(x_i, x_j) = (\langle x_i, x_j \rangle + c)^d$

2.2 核矩阵中心化

核 PCA 需要将数据中心化，即使核矩阵满足：
$\mathbf{1}K - K\mathbf{1} + \mathbf{1}K\mathbf{1}$
其中， $\mathbf{1}$ 是全 $\times m$ 矩阵，所有元素均为 $\frac{1}{m}$ 。

2.3 计算特征值与特征向量

解核矩阵 $K^{'}$ 的特征值分解问题：
$v_i = \lambda_i v_i$
其中， $\lambda_i$ 是特征值， $v_i$ 是核矩阵的特征向量。

2.4 计算投影

降维后的新特征表示为：
$X^{'} = K^{'} V$
其中， $V$ 是由前 $k$ 个最大特征值对应的特征向量组成的矩阵。

3. KPCA 的 Python 实现

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import KernelPCA
from sklearn.datasets import make_moons

# 生成非线性数据
X, y = make_moons(n_samples=100, noise=0.05, random_state=42)

# 进行KPCA降维（使用高斯核）
kpca = KernelPCA(n_components=2, kernel='rbf', gamma=10)
X_kpca = kpca.fit_transform(X)

# 可视化降维结果
plt.scatter(X_kpca[:, 0], X_kpca[:, 1], c=y, cmap='coolwarm')
plt.title("Kernel PCA with RBF Kernel")
plt.xlabel("Component 1")
plt.ylabel("Component 2")
plt.show()