weixin_45234485的博客

1.专题汇总点击一下标题可跳转至原文《sklearn与机器学习系列专题之降维（一）一文弄懂PCA特征筛选&降维》《sklearn与机器学习系列专题之降维（二）一文弄懂LDA特征筛选&降维》《sklearn与机器学习系列专题之降维（三）一文弄懂MDS特征筛选&降维》《sklearn与机器学习系列专题之降维（四）一文弄懂SVD特征筛选&降维》《sklearn与机器学习系列专题之降维（五）一文弄懂Isomap特征筛选&降维》《sklearn与机器学习系列专题之

目录1.LPP2.LE3.LTSA4.MVU5.ICA6.其它降维方法7.写在最后1.LPP局部保留投影算法（Locality preserving projections，LPP）源自何小飞教授的论文《Locality preserving projections》。顾名思义，PCA是一种无监督式降维算法，而LPP则是一种监督式降维算法；相比与PCA算法保留了全局信息而言，LPP算法在降维后，只保留了部分信息。LPP算法是一种非线性投影的线性化，可理解为：相互间有某种非线性关系的样本点在降维之后仍然

目录1.t-SNE算法简介2.t-SNE算法原理3.t-SNE算法优缺点4.python实战t-SNE算法5.python实战t-SNE算法1.t-SNE算法简介在降维系列的倒数第N篇（N≈3？，小编也不知道，随缘吧）里，小编在此再次介绍一种流行学习方法——t-Distributed 随机邻域嵌入算法（t-distributed stochastic neighbor embedding，t-SNE），该算法的初衷也是用于可视化高维复杂的数据结构，因此，也经常被用来和LLE算法作对比（如在LLE专题中的

目录1.LLE算法简介2.LLE算法原理3.LLE优缺点4.python实战LLE5.下篇预告1.LLE算法简介局部线性嵌入算法（Locally Linear Embedding，LLE）和上一篇专题Isomap都属于流形学习方法。与Isomap不同的是，LLE在降维中，试图保持邻域内样本之间的线性关系，使得样本之间的映射坐标能够在低维空间中得以保持，如下图所示。以下图为例，使用LLE将三维数据（B）映射到二维（C）之后，映射后的数据仍能保持原有的数据流形（红色的点互相接近，蓝色的也互相接近），说明

sklearn与机器学习系列专题之降维（一）一文弄懂PCA特征筛选&降维1.标准PCA2.非负矩阵分解3.稀疏PCA4.核PCA下篇预告伴随着通信与互联网技术的不断发展，人们收集和获取数据的能力越来越强，而这些数据已呈现出维数高、规模大和结构复杂等特点，当数据量非常大时，会面临维度灾难，即:1.在高维情况下，数据样本稀疏；2.涉及距离、内积的计算变得困难。缓解灾难的一个重要途径就是降维。本篇博客主要以PCA为例，讲解sklearn实现降维。1.标准PCA如下图所示，我们用两个特征——一个是

目录1.PCA算法优缺点2.LDA算法简介3.枯燥又简洁的理论推导4.python实战LDA5.下篇预告1.PCA算法优缺点在上一篇推文中，我们详解了PCA算法。这是机器学习中最为常用的降维方法，能降低算法的计算开销，使得数据集更容易处理，且完全无参数的限制。但是，如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却很难按照预想的方法对处理过程进行干预，可能达不到预期的效果，在非高斯分布的情况下，PCA方法得出的主元可能也并不是最优的。2.LDA算法简介这时候，就要线性判别分析降维（Line

目录1.MDS算法简介2.枯燥又简洁的理论推导3.MDS算法优缺点4.python实战MDS（一）——鸢尾花数据集降维5.python实战MDS（二）——度量MDS和非度量MDS6.下篇预告1.MDS算法简介多维缩放（Multiple Dimensional Scaling，MDS）算法的的中心思想可以用一句话概括——要求原始空间中样本之间的距离（无特加说明的情况下，默认为欧氏距离）在低维空间得以保持。对于大多数聚类算法来说，距离是将样本分类的重要属性，因此当我们降维后，保持距离不变，那么就相当于保持了

目录1.SVD算法简介2.枯燥又简洁的理论推导3.SVD算法优缺点4.python实战SVD（一）——用SVD算法降维5.python实战SVD（二）——用SVD算法进行音乐推荐6.下篇预告1.SVD算法简介SVD降维算法（Singular Value Decompositionm，SVD），即在矩阵论中常见的奇异值分解降维。通俗地讲，就是将一个线性变换分解为两个线性变换，一个线性变换代表旋转，一个线性变换代表拉伸。奇异值分解是在机器学习领域应用较为广泛的算法之一，也是学习机器学习算法绕不开的基石，可应

目录1.Isomap算法简介2.Isomap算法原理3.Isomap算法优缺点4.python实战Isomap5.下篇预告1.Isomap算法简介等度量映射（Isometric Feature Mapping，Isomap）是流形学习的一种，用于非线性数据降维，是一种无监督算法。Isomap所采用的核心算法和MDS是一致的，区别在于原始空间中的距离矩阵的计算上。很多数据是非线性结构，不适合直接采用PCA算法和MDS算法。在非线性数据结构中，流形上距离很远（测地距离，即在曲面上(不允许离开曲面)从A点走