机器学习——特征工程之核化线性降维KPCA

最新推荐文章于 2024-08-17 13:33:54 发布
原创 最新推荐文章于 2024-08-17 13:33:54 发布 · 4.4k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种非线性降维方法——核主成分分析(KPCA)，它利用核技巧将线性主成分分析(PCA)推广到非线性场景。通过映射到高维特征空间再进行线性降维，KPCA能够捕捉到数据更复杂的内在结构。

一、前言

1、 线性降维的假设：从高维空间到低维空间的函数映射是线性的

2、 然而，现实任务中大多数可能需要非线性映射才能找到恰当的低维嵌入

3、 低维嵌入：低维（“本真”）空间样本点采样后以某种分布嵌入（映射）到高维空间中


二、KPCA原理

1、 非线性降维常用方法之一：基于核技巧对线性降维方法进行“核化”

2、 PCA求解目标： (∑_{i=1}^m z_i z_i^T )W=λW

    a) z_i 是样本点 x_i 在高维特征空间中的像

    b) 简化得 W=∑_{i=1}^m z_i (z_i^T W)/λ = ∑_{i=1}^m z_i α_i

3、 假定 z_i 是由原始属性空间中的样本点 x_i 通过映射 ϕ 产生

    a) (∑_{i=1}^m ϕ(x_i ) ϕ(x_i )^T )W=λW

    b) W=∑_{i=1}^m ϕ(x_i ) α_i

    c) 引入核函数 κ(x_i,x_j )= ϕ(x_i )^T ϕ(x_j )

    d) 化简后得 KA=λA ，其中K为 κ 对应的核矩阵， (K)_{ij}=κ(x_i,x_j ) ， A=(α_1;α_2;⋯;α_m )

4、 新样本 x_i ，其投影后的第j维坐标为 z_j=w_j^T ϕ(x)=∑_{i=1}^m α_i^j κ(x_i,x) （计算开销较大）

【进阶版】 机器学习之主成分分析（PCA）、MDS算法、核化线性降维 （16）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-23 1885
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
KPCA降维
zxiaohui666
01-25 6099
KPCA是一种非线性主元分析方法，用于降维。主要思想：通过某种事先选择的非线性映射函数Ф将输入矢量X映射到一个高维线性特征空间F之中，然后在空间F中使用PCA方法计算主元成分，核主成分分析最主要是非线性映射函数Ф的选取。 算法步骤： Step 1. 数据标准化处理。 Step 2. 求核矩阵K，使用核函数来实现将原始数据由数据空间映射到特征空间。采用的核函数为径向基核函数，公
数据降维-核化线性降维（kernelized PCA）
u_say2what的博客
04-13 3108
主要是在传统的PCA中加入了kernel。传统的PCA使用的是线性变换，为此(Schoelkopf et al. 1998)在传统的PCA中引进了kernel的技巧，本文的主要参考文献为MLAPP,参考的是第14章的第四小节，算法如下： 这个算法，和传统的pca差不多，主要步骤3和8主要是做特征空间的中心化，因为pca处理的是中心化后的数据，推断步骤如下： 详细细节可以查看MLAPP这本书。...
机器学习基础（八）：降维与度量学习（KNN、MDS、线性降维、PCA、核化线性降维、流形学习、度量学习）
zero_ling
09-29 2019
8、降维与度量学习 8.1 k近邻k-Nearest Neighbor(KNN)学习 常用的监督学习方法，“懒惰学习lazy learning”的代表 给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测 通常分类任务中使用“投票法（选择这k个样本中出现最多的类别标记作为预测结果）”，回归任务中使用“平均法”，还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。 条件：假设任意测试样本x附近任意小的δ离范围内总能找到一个训练样本，即训练样本的采
特征工程之降维(KPCA)
咔咔响
08-21 4443
1.KPCA主要思想是先将样本映射到高维空间，再在高维空间中使用线性降维的方法2.核函数可以直接对特征向量的内积进行变换，等价于先对特征向量做核映射然后做内积3.KPCA算法流程有四步：...
精选资源
KPCA_KPCA_KPCA降维_kca_核主成分_降维_
10-03
**KPCA（Kernel Principal Component ...总的来说，KPCA是解决非线性数据降维问题的有效工具，广泛应用于机器学习、模式识别、图像处理等领域。掌握KPCA不仅有助于理解和处理复杂数据，还能提高模型的性能和解释性。
KPCA非线性降维
weixin_57332529的博客
08-17 1053
然而，一种新的算法通过使用Gram矩阵生成Gram-power矩阵来解决这一问题，该方法的空间复杂度为O(m)，时间复杂度降低到O(pkm)，从而提高了处理大规模数据集的能力。：改进核主成分分析方法将流形学习保持局部结构的思想融入KPCA的目标函数中，使得到的特征空间不仅具有原始样本空间的整体结构，还保持样本空间相似的局部近邻结构。因此，进一步的代码优化和参数微调是必要的。：采用一种计算优化的方法来解决问. 题，而不是直接采用原来的数据点定义核矩阵计算主成分，我们提出了基于聚类的代表点的方法来计算核矩阵。
数据科学中基于核主成分分析(KPCA)的回归数据降维可视化及其MATLAB实现
最新发布
07-29
首先阐述了主成分分析（PCA）的基本概念，接着引申出KPCA的概念并解释了其相对于传统PCA的优势——能够捕捉数据的非线性结构。随后，文章提供了完整的MATLAB代码实现流程，从数据准备开始，经过定义核函数、应用KPCA...
（《机器学习》完整版系列）第10章 降维与度量学习——10.7 核化线性降维（线性降维+“核技巧”）
qiy_icbc的博客
03-16 426
前面的主成分分析（PCA）是线性降维（变换式为线性的），若加上“核技巧”，则为“核主成分分析（KPCA）”。 “核技巧”，它是采用“曲线救国”的道路， 本应该将$d$维的$\boldsymbol{x}$直接降成$d'$维的$\boldsymbol{y}$，改为： 先用非线性变换（核函数）将$d$维的$\boldsymbol{x}$升维成$d^+$维的$\boldsymbol{z}$，再对$d^+$维的$\boldsymbol{z}$使用PCA算法降成$d'$维的$\boldsymbol{y}$
KPCA_KPCA降维_KPCA降维_matlab
09-11
KPCA代码及其实例详解，关于非线性降维的新手入门教学
kpca降维算法
09-12
本程序利用KPCA来对原始数据进行降维，里面有较为详细的注解，能够帮助大家理解，程序比较精简，是在前人的基础上进行的修改后的结果，运行绝对无错误。
KPCA_KPCA_KPCA数据降维_KPCA降维_kpca的r实现_KPCA降维_
10-01
KPCA实现数据降维，数据部分可以自己改，用的是TE故障中的一组数据
利用kpca对高维数据进行降维
10-03
通过kpca进行降维，根据网上的程序改的，内含数据，数据为西储大学轴承数据，希望可以帮助到刚学的同学，有错误的地方请多多指教。
稀疏kpca，对数据降维
06-28
kpca的改进算法，用于非线性数据的降维处理，消除数据间的关联性，降低冗余度
KPCA降维——python
zqzq19950725的博客
03-22 5829
KPCA，中文名称”核主成分分析“，是对PCA算法的非线性扩展。PCA是线性的，其对于非线性数据往往显得无能为力（虽然这二者的主要目的是降维，而不是分类，但也可以用于分类），其中很大一部分原因是，KPCA能够挖掘到数据集中蕴含的非线性信息。 一、KPCA较PCA存在的创新点： 1. 为了更好地处理非线性数据，引入非线性映射函数，将原空间中的数据映射到高维空间，注意，这个是隐性的，我们不知道，也...
【机器学习】降维与度量学习 | 多维度嵌入，主成分分析，核化线性降维
专注于人工智能的算法与应用
03-18 1056
等度量映射的基本思想是首先通过近邻图（neighborhood graph）来估计数据点之间的测地距离，然后利用多维缩放（MDS）等技术将高维数据映射到低维空间中，使得在低维空间中的欧氏距离尽可能地近似于在高维空间中的测地距离。核化线性降维的基本思想是，在将数据映射到高维空间之后，利用核技巧（Kernel Trick）将高维空间中的内积操作替换为核函数的计算，从而避免了直接计算高维空间的特征向量，减少了计算复杂度。KNN其实没有显式的训练过程，它是懒惰学习的代表，而之前学的是急切学习，
西瓜书学习笔记——核化线性降维（公式推导+举例应用）
Nie同学的博客
02-03 1597
核化线性降维是一种基于核方法的降维技术，适用于处理非线性数据结构。以核主成分分析（KPCA）为例，通过引入核函数，将数据映射到高维特征空间，并利用核矩阵的特征值分解实现降维。本文利用径向基函数核对数据集进行核化PCA，展示了降维后的可视化效果。
KPCA降维_超参数_贝叶斯优化
m0_69496797的博客
11-19 684
使用kpca和贝叶斯优化进行特征降维
KPCA核心思想：非线性特征降维技术与分类应用
KPCA就是一种强大的非线性降维工具，它在降维的同时保留了数据最重要的特性，这在模式识别和机器学习中非常有价值。 4. KPCA在分类和识别中的应用： KPCA不仅可以用于降维，还可以辅助分类和识别任务。通过将原始...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值