机器学习非线性降维:核PCA(Kernel PCA)

核PCA(Kernel PCA)详述 目录 1核函数 2 核函数种类 3核函数应用-KPCA 3月份,写过一篇PCA的文章,再此基础上,又看了关于KPCA的东西,所以有了这篇文章,这篇文章,直接使用了PCA中的主要思想,不明白的可以转到https://blog.youkuaiyun.com/foneone/article/details/88881334这篇文章。 1核函数 如果存在一个从X到P的映射: ... 阅读详情

机器学习非线性降维:核PCA(Kernel PCA)超通俗完整版

传统 PCA 只能处理线性数据,遇到环形、双月形、卷曲形等非线性数据就会失效。核 PCA(Kernel PCA) 就是 PCA 的非线性增强版,专门用来搞定复杂分布的数据,把原本分不开的数据轻松“拉开、展平”。

这篇文章用大白话 + 原理拆解 + 完整代码 + 面试总结,把核 PCA 讲得通俗易懂,本科生、研究生都能轻松掌握。


一、先看懂:为什么要有核 PCA?

1. 传统 PCA 的致命弱点

PCA 是线性降维,只能找直线方向的主成分。
遇到下面这种数据直接“抓瞎”:

  • 双月形(moons)
  • 同心圆(circles)
  • 螺旋、卷曲流形

直线根本切不开非线性分布,降维后依然一团乱。

2. 核 PCA 一句话定位

核 PCA = 非线性版 PCA
通过核函数把数据隐式映射到高维空间,让非线性结构变线性,再用 PCA 降维。

3. 超通俗例子

原始数据是皱成一团的纸:

  • 传统 PCA:用直尺硬切,切不明白
  • 核 PCA:先把纸“魔法拉平”,再切,一刀搞定

二、核 PCA 核心思想(极简版)

  1. 非线性映射:用核函数把数据丢进高维空间(不显式计算)
  2. 核技巧:只算内积,不算坐标,省算力
  3. 高维 PCA:在高维空间做线性 PCA
  4. 降维输出:得到非线性主成分

一句话:
先升维变线性,再线性降维,搞定非线性数据


三、核 PCA 关键:核函数与核技巧

1. 什么是核函数?

核函数 = 计算高维空间内积的快捷方式
不用真的把数据升到高维,直接算相似度。

2. 最常用核函数

  • RBF 高斯核(最常用):适合任意非线性形状
  • 多项式核:适合有多项式结构的数据
  • 线性核:退化为普通 PCA

3. 核技巧(Kernel Trick)

不用算 φ(x),直接算:
k(xi,xj)=⟨φ(xi),φ(xj)⟩k(x_i,x_j)=⟨φ(x_i),φ(x_j)⟩k(xi​,xj​)=⟨φ(xi​),φ(xj​)⟩
避免高维爆炸,又能享受高维好处。


四、核 PCA 数学原理(看得懂版)

1. 步骤总览

  1. 选核函数,计算核矩阵 K
  2. 对 K 中心化(高维空间去均值)
  3. 对核矩阵做特征分解
  4. 取前 m 个主成分,完成降维

2. 核心公式

中心化核矩阵:
K~=K−1NK−K1N+1NK1N\tilde{K}=K-1_N K-K 1_N+1_N K 1_NK~=K−1N​K−K1N​+1N​K1N​

特征分解:
K~α=Nλα\tilde{K}\alpha=N\lambda\alphaK~α=Nλα

低维嵌入:
Xproj=K~αmX_{proj}=\tilde{K}\alpha_mXproj​=K~αm​


五、核 PCA 标准算法流程(背诵版)

输入:数据 X、核函数、目标维度 m

  1. 计算核矩阵 K
  2. 核矩阵中心化
  3. 特征分解求 α、λ
  4. 按特征值排序,取前 m 个
  5. 投影得到低维结果
    输出:非线性降维坐标

六、实战代码:双月形数据核 PCA 降维(可直接运行)

我们用经典 moons 非线性数据集,完整演示核 PCA 降维、可视化、参数调优、分类验证。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons
from sklearn.decomposition import KernelPCA
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV, Pipeline
from sklearn.model_selection import StratifiedKFold

# ====================== 1. 生成非线性数据 ======================
X, y = make_moons(n_samples=1000, noise=0.1, random_state=42)

plt.figure(figsize=(7,5))
plt.scatter(X[:,0], X[:,1], c=y, cmap='Spectral', s=50, edgecolor='k')
plt.title('原始非线性数据(双月形)')
plt.grid(True)
plt.show()

# ====================== 2. 核 PCA 降维 ======================
kpca = KernelPCA(n_components=2, kernel='rbf', gamma=15, random_state=42)
X_kpca = kpca.fit_transform(X)

plt.figure(figsize=(7,5))
plt.scatter(X_kpca[:,0], X_kpca[:,1], c=y, cmap='Spectral', s=50, edgecolor='k')
plt.title('核 PCA 降维结果(RBF 核)')
plt.grid(True)
plt.show()

# ====================== 3. 网格搜索最优 gamma ======================
pipe = Pipeline([
    ('kpca', KernelPCA(n_components=2, kernel='rbf')),
    ('logistic', LogisticRegression(random_state=42))
])

param_grid = {
    'kpca__gamma': np.linspace(1, 30, 20),
    'logistic__C': np.logspace(-2, 2, 5)
}

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
grid = GridSearchCV(pipe, param_grid, scoring='accuracy', cv=cv, n_jobs=-1)
grid.fit(X, y)

print("最优参数:", grid.best_params_)
print("最优准确率:", round(grid.best_score_,4))

# ====================== 4. 最优参数重新降维 ======================
best_gamma = grid.best_params_['kpca__gamma']
kpca_best = KernelPCA(n_components=2, kernel='rbf', gamma=best_gamma, random_state=42)
X_best = kpca_best.fit_transform(X)

# 绘图对比
fig, ax = plt.subplots(1,2,figsize=(14,5))
ax[0].scatter(X[:,0],X[:,1],c=y,cmap='Spectral',s=40,edgecolor='k')
ax[0].set_title('原始数据')
ax[1].scatter(X_best[:,0],X_best[:,1],c=y,cmap='Spectral',s=40,edgecolor='k')
ax[1].set_title('核 PCA 最优降维结果')
plt.show()

运行效果说明

  • 原始双月数据非线性缠绕
  • 核 PCA 直接把两类完美拉开
  • 简单逻辑回归就能高精度分类
  • gamma 太小拉不开,太大过拟合

七、核 PCA 优缺点(面试高频)

✅ 优点

  1. 完美处理非线性数据:环形、双月、流形都能搞定
  2. 核技巧超高效:不显式升维,避免计算爆炸
  3. 通用性强:可搭配各种核函数适应不同分布
  4. 提升分类效果:非线性展开后,简单分类器就能变强

❌ 缺点

  1. 参数难调:gamma 对结果影响巨大
  2. 计算量大:核矩阵是 N×N,大数据吃不消
  3. 可解释性差:主成分没有物理意义
  4. 对噪声敏感:异常点会污染核矩阵

八、核 PCA vs 传统 PCA vs 主流降维算法

算法类型处理非线性复杂度可解释适用场景
PCA线性❌ 不能低高线性数据、快速降维
核 PCA非线性✅ 强中高低中小规模非线性数据
Isomap流形✅ 强高中流形数据、保全局距离
t-SNE非线性✅ 强高低聚类可视化
UMAP非线性✅ 强低中大数据、通用降维

九、什么时候用核 PCA?什么时候不用?

✅ 推荐用核 PCA

  • 数据明显非线性(双月、环形、卷曲)
  • 样本量几百~几千
  • 希望用简单分类器解决复杂问题
  • 需要非线性特征提取(图像、信号、基因)

❌ 不推荐用核 PCA

  • 数据超大规模(万级以上) → 用 UMAP
  • 追求高可解释性 → 用 PCA
  • 只要可视化聚类 → 用 t-SNE/UMAP
  • 噪声极多 → 先降噪再用核 PCA

十、核 PCA 使用必知技巧

  1. 优先用 RBF 核,最稳最通用
  2. gamma 必须调优:用网格搜索/交叉验证
  3. 数据先标准化,距离更稳定
  4. 大数据用近似核 PCA 加速
  5. 可和逻辑回归/SVM 搭配 pipeline 端到端调参

十一、总结(一句话记住核 PCA)

核 PCA 是非线性降维神器,通过核技巧隐式升维,把复杂非线性数据变线性,再用 PCA 提取主成分,完美解决传统 PCA 搞不定的非线性分布,是机器学习非线性特征处理的核心工具。

机器学习:Kernel PCA核主成分分析 1. kernel PCA 概述 核主成分分析(Kernelized PCA,KPCA)利用核技巧将d维线性不可分的输入空间映射到线性可分的高维特征空间中,然后对特征空间进行PCA降维,将维度降到d′ 维,并利用核技巧简化计算。也就是一个**先升维后降维【数据先通过核函数(kernel function)转换成一个新空间,也就是升维过程,然后再用PCA进行降维处理】**的过程,这里的维度满足d′<d<D 线性降维方法假设从高维空间到低维空间的函数映射是线性的,然而在有些时候,高维空间是线性不可 阅读详情

相关推荐

pca降维的基本思想_深入剖析核主成分分析Kernel PCA体现的辩证法思想

Kernel PCA同时把升维和降维统一在一起,这个算法是一个矛盾的统一体,其高效的性能背后闪烁着辩证法思想的光芒!矛盾是事物要素之间或事物之间既对立(相互排斥)又统一(相互联系)的关系。在机器学习中,我们辩证地思考问题,就是用联系的、发展的、全面的观点,特别是用对立统一的观点认识问题、解决问题。低维与高维的辩证增加维度:试图模拟真实世界这个世界很复杂,所以,在应用机器学习技术中,人们试图模拟真实...

weixin_39730263的博客 631

核PCA(Kernel PCA)学习笔记

感谢大佬们的文章 1、(46条消息) Gram矩阵_wangyang20170901的博客-优快云博客_gram矩阵 2、数据降维: 核主成分分析(Kernel PCA)原理解析 - 知乎 --------------------------------------------------------------------------------------------------------------------------------- 如果理解PCA的基础上去理解KPCA,简直就是相..

qq_41949101的博客 5866

机器学习中的数据降维利器:主成分分析(PCA)与核主成分分析(Kernel PCA)

数据降维是机器学习和数据分析中常用的技术,它可以将高维数据映射到低维空间,从而减少特征数量,提高计算效率和模型性能。主成分分析(Principal Component Analysis,PCA)和核主成分分析(Kernel PCA)是两种常见的数据降维方法,它们在不同的情况下具有重要的应用。这些方法在特征提取、数据可视化和模型训练等领域都有广泛的应用,为我们处理复杂数据提供了强大的工具。在实际应用中,我们可以根据具体的数据特点选择合适的降维方法,并结合其他机器学习算法进行进一步的分析和建模。

FdmPatch的博客 386

三维点云处理(三)——Kenerl PCA

上一章节说明的基础PCA主成分分析的基本原理,这种PCA主要适用于线性关系的数据点,在原理里包含的矩阵乘法实际上也是线性操作。数据中矩阵乘一个向量就是对矩阵的列的线性组合。如果我们遇到数据不是线性的情况下怎么办呢?将所有的数据点投影到主向量上去,由此得到投影后的系数yr。从PCA引入到kernel PCA,主要是通过使用核函数来对数据进行升维来达成聚类效果。

weixin_45563167的博客 1088

机器学习笔记——降维

本笔记介绍机器学习中常见的无监督学习方法——降维。

haopinglianlian的博客 2255

使用非线性降维方法进行数据降维

非线性降维方法用于处理复杂的、高维的非线性数据,能够提取出隐藏在数据中的非线性结构。这类方法突破了传统线性降维技术的局限,能够更好地应用于图像、文本、信号等复杂数据集。常见的非线性降维方法包括核PCA、快速独立成分分析(FastICA)和非负矩阵分解(NMF)。这些方法通过不同的数学原理和分解技术,将数据转换为低维表示,同时保留其内在结构信息,适用于各类需要非线性映射的场景。方法名描述适用场景核PCA (KernelPCA)通过使用核技巧处理非线性数据的PCA版本。非线性数据的降维。

Mr数据杨 1055

08_Dimensionality Reduction_svd_Kernel_pca_make_swiss_roll_subplot2grid_IncrementalPCA_memmap_LLE

Many Machine Learning problems involve thousands or even millions of features for each training instance. Not only does this make training extremely slow, it can also make it much harder to find ...

Linli522362242的专栏 1941

智能车赛道识别:八邻域算法的实战解析与优化

本文深入解析了智能车赛道识别中八邻域算法的核心原理与实战优化。作为兼顾性能与稳定性的经典方案,该算法通过模拟探险家环顾八方的策略,能精准追踪弯道与直道边界。文章详细拆解了代码逻辑,并提供了边界平滑、异常处理及应对十字路口、环岛等复杂场景的关键优化策略,助力开发者提升智能车视觉系统的鲁棒性与实时性。

weixin_29228781的博客 266

多维数组怎么降维_从零开始的机器学习实用指南(八):降维

许多机器学习有数以千计甚至百万级别的特征,这不仅会让训练变得很慢,也可能让找到最优解变得很难,这种问题被称为维度灾难(curse of dimensionality)真实世界中,有时候我们并不需要这么多维度,例如,MINIST的边缘位置常常是空白的,有的两个相邻的位置常常是相关的,扔掉其中的一些也不会损失太多的信息。降维常常都是以损失信息为代价,类似于压缩一张图片。我们通常可以先试着用原始的数据,...

weixin_42124743的博客 1004

Shopee App加密算法逆向实战:从libshpssdk.so到x-sap-ri的生成机制

本文详细解析了Shopee App核心加密参数x-sap-ri的生成机制。通过逆向分析libshpssdk.so动态库,揭示了其采用9套算法动态切换的复杂签名逻辑,并分享了从抓包定位、Frida动态调试到Unidbg模拟执行的全过程实战经验,为移动应用安全研究提供了完整的技术路径。

weixin_29323551的博客 1328

基于STM32的工业I/O模块硬件电路实现

深入解析基于STM32的工业I/O模块硬件电路实现,涵盖关键电路设计与信号处理,突出硬件电路稳定性和工业级可靠性,适合嵌入式开发者参考。

weixin_35835018的博客 460

Kernel principal component analysis in scikit-learn

For our convenience, scikit-learn implements a kernel PCA class in the sklearn.decomposition submodule. The usage is similar to the standard PCA class, and we can specify the kernel via the kernel p

u013096864的博客 516

KiCad自动布线实战:FreeRouting插件安装与使用指南

在PCB设计流程中,布线环节往往占据大量重复性工作,尤其对于中小型双面板,成百上千条飞线的手动连接既繁琐又易出错。自动布线技术通过算法在给定设计规则和元件布局的基础上自动规划走线路径,能显著提升布线效率。FreeRouting作为一款开源自动布线器,与KiCad通过DSN/SES标准中间格式无缝配合,让工程师将精力集中于关键信号和布局优化,而将常规网络交给工具处理。本文从自动布线的原理与边界出发,讲解了FreeRouting的安装、DSN导出、参数设置、自动布线及结果回传的完整流程,并结合实际案例展示了在S

weixin_32025789的博客 283

【火炉炼AI】机器学习053-数据降维绝招-PCA和核PCA

【火炉炼AI】机器学习053-数据降维绝招-PCA和核PCA (本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 ) 主成分分析(Principal Component Analysis, PCA)可以说是数据降维的绝招,不仅在人口统计学,数量地理学,分子动力学模拟,数学建模等领域有着重要的应用...

【科技老丁哥】的博客 720

[自动化工具] 解放双手的利器:「自动邮件平台」工具助你高效搞定重复通知任务

摘要:自动邮件平台是一款零门槛自动化工具,帮助用户高效处理重复性邮件任务。该平台支持两种调度模式(指定日期和间隔天数),无需编码即可快速设置账单提醒、活动通知等任务。提供免费托管版(小时级调度)和自主部署版(分钟级调度),满足不同精度需求。典型应用场景包括客户跟进、系统监控等周期性任务。用户只需三步即可完成设置,还能扩展定制化功能。该工具让非技术人员也能轻松实现邮件自动化,释放时间专注更重要的工作。

每日出拳老爷子的博客 111

【基础-多选】HarmonyOS鸿蒙应用开发

1、HarmonyOS提供了基础的应用加固安全能力,包括混淆、加密和代码签名能力。正确2、可以通过ohpm uninstall 指令下载指定的三方库。错误3、支持模块化开发是指一个应用通常会包含多种功能,将不同的功能特性按模块来划分和管理是一种良好的设计方式。在开发过程中,我们可以将每个功能模块作为一个独立的Module进行开发,Module中可以包含源代码、资源文件、第三方库、配置文件等,每一个Module可以独立编译,实现特定的功能。这种模块化、松耦合的应用管理方式有助于应用的开发、维护与扩展。正确。

江拥羡橙的博客 1万+

机器学习算法(降维)总结及sklearn实践——主成分分析(PCA)、核PCA、LLE、流形学习

降维图谱降维什么时候会用到降维维数灾难降维的主要方法1.投影(Projection)主成分分析(PCA)保留最大方差的超平面主成分(Principle Componets)奇异值分解(SVD)投影到 d 维空间Scikit-Learn实现PCA方差解释率(Explained Variance Ratio)核 PCA(Kernel PCA)调整超参数引入模型,通过最优化模型表现调参直接基于最小重建误...

GladYouCame 1万+

Python爬虫:爬取拼多多平台商品信息、销量、价格等数据

在本篇博客中,我们将深入探讨如何使用Python爬虫技术爬取拼多多平台的商品信息,包括商品的标题、销量、价格等详细数据。拼多多的商品页面通常是分页展示的,因此我们需要遍历多个页面,获取所有商品的信息。每个商品在拼多多平台上都有一个唯一的商品ID,我们可以通过该ID访问商品页面。通过以上的技术方案和代码示例,你已经掌握了如何使用Python爬虫获取拼多多平台上的商品信息、销量、价格等数据。等技术,解决拼多多平台的反爬虫机制,成功抓取我们所需的商品数据。,我们能够应对拼多多的反爬虫机制,稳定地获取到商品数据。

2201_76125261的博客 3661

机器学习——数据降维

文章目录数据降维1 维度灾难与降维2 主成分分析2.1 PCA原理2.2 PCA算法2.3 PCA算法实验 数据降维 数据降维又称维数约简,就是降低数据的维度。其方法有很多种,从不同角度入手可以有不同的分类,主要分类方法有:根据数据的特性可以划分为线性降维和非线性降维,根据是否考虑和利用数据的监督信息可以划分为无监督降维、有监督降维和半监督降维,根据保持数据的结构可以分为全局保持降维、局部保持降维和全局与局部保持一致降维等。需要根据特定的问题选择合适的数据降维方法。 数据降维一方面可以解决“维数灾难”,缓解

Flamingo的博客 1万+

【DNN实现二分类模型推理部署(C#)----20240712】

【DNN实现二分类模型推理部署(C#)----20240712】

weixin_44119674的博客 213

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Python基于PCA、PCA-kernel、LDA的鸢尾花数据降维项目实战

本项目基于经典鸢尾花数据集,采用Python实现PCA、KernelPCA和LDA三种降维方法进行实战分析。数据集包含150个样本的4个特征和3个类别。通过数据预处理和EDA后,项目重点对比了三种降维技术的效果:PCA捕捉线性最大方差,KernelPCA处理非线性关系,LDA优化类别区分度。结果表明LDA分类效果最优,KernelPCA擅长非线性问题,而PCA保留关键信息优势明显。项目完整提供了数据+代码+文档,为机器学习降维技术应用提供了实用参考。

张陈亚的博客 812

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Python基于PCA、PCA-kernel、LDA的同心圆数据降维项目实战

摘要: 本项目对比了PCA、KernelPCA和LDA三种降维方法在处理非线性同心圆数据集上的表现。通过Python实现,数据预处理显示400条样本无缺失值。实验发现:线性PCA难以分离两类数据;KernelPCA利用核函数提升了非线性分离效果;监督学习的LDA表现最佳,几乎完全区分类别。结果表明,针对复杂数据结构需选择适配的降维方法。本文为高维数据特征提取提供了实践参考,完整代码与数据可通过文末方式获取。

张陈亚的博客 804

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Python机器学习-PCA降维的实现

降维的作用:数据可视化、加快训练速度 两种主要的降维方法:投影(projection)和流形学习(Manifold Learning) 投影,向更高维度投影数据。简而言之,训练集的维度越高,过拟合的风险就越大。 许多降维算法通过对训练实例所在的流形进行建模从而达到降维目的;这叫做流形学习。它依赖于流形猜想(manifold assumption),也被称为流形假设(manifold hypo...

Data _designer 2066

数据降维-核化线性降维(kernelized PCA)

主要是在传统的PCA中加入了kernel。传统的PCA使用的是线性变换,为此(Schoelkopf et al. 1998)在传统的PCA中引进了kernel的技巧,本文的主要参考文献为MLAPP,参考的是第14章的第四小节,算法如下: 这个算法,和传统的pca差不多,主要步骤3和8主要是做特征空间的中心化,因为pca处理的是中心化后的数据,推断步骤如下: 详细细节可以查看MLAPP这本书。...

u_say2what的博客 3144

【漫话机器学习系列】097.核主成分分析(Kernel PCA)

主成分分析(PCA,Principal Component Analysis)是一种常用的降维方法,广泛应用于数据压缩、特征提取和数据可视化。然而,传统的 PCA 只适用于线性数据,当数据是非线性分布时,PCA 可能无法很好地提取有效特征,使得降维后的数据仍然难以分类。

IT古董 1702
上一篇: 机器学习降维:多维尺度分析 MDS
下一篇: 机器学习非线性降维:局部线性嵌入 LLE
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值