sklearn与机器学习系列专题之降维（八）其它特征筛选&降维方法

本文链接：https://blog.youkuaiyun.com/weixin_45234485/article/details/110185352

1.LPP

局部保留投影算法（Locality preserving projections，LPP）源自何小飞教授的论文《Locality preserving projections》。顾名思义，PCA是一种无监督式降维算法，而LPP则是一种监督式降维算法；相比与PCA算法保留了全局信息而言，LPP算法在降维后，只保留了部分信息。

LPP算法是一种非线性投影的线性化，可理解为：相互间有某种非线性关系的样本点在降维之后仍然保持这种非线性关系。比如：原始空间内距离较近的样本点，映射后对应样本的距离仍然较近；否则相反。投影矩阵的计算过程与LDA类似，都需要求解特征值和特征向量。

2.LE

拉普拉斯特征映射降维算法（Laplacian Eigenmaps，LE）看问题的角度和LLE十分相似——它们都用图的角度去构建数据之间的关系：图中的每个顶点代表一个数据，每一条边权重代表数据之间的相似程度，越相似则权值越大；并且它们还都假设数据具有局部结构性质。LLE假设每一个点都能通过周围邻域数据的线性组合来描述，并且降维后这一线性关系尽可能保持不变；而LE假设每一点只与它距离最近的一些点相似，再远一些的数据相似程度为0，降维后相近的点尽可能保持相近。

LE的基本思想就是用一个无向有权图来描述一个流形，然后通过用图的嵌入（graph embedding）来找低维表示。即，在保持图的局部邻接关系的情况下把这个图从高维空间中重新画在一个低维空间中（graph drawing）。就算法而言，可分为三步走的战略部署：构建图、选择权、特征映射。

3.LTSA

局部切空间排列算法（Local Tangent Space Alignment，LTSA）的基本思想是用样本点的近邻区域的切空间来表示局部几何结构，再对局部切空间进行重新排列得到非线性流形的用自然参数刻画的低维表示。在线性情况下，需要用到SVD分解的低秩近似性质求解，在非线性情况下，全局的非线性结构来自于局部的线性分析和排列。

4.MVU

最大方差展开降维算法（Maximum Variance Unfolding，MVU）是一种基于流形学习的非线性降维方法，不像Isomap算法只保持了测地距离，MVU算法不仅仅考虑到了局部的距离，而且还考虑到了近邻点之间的角度间的关系。在技术上，由于MVU 采用了半定规划（semidefinite programming，SDP）来处理降维，因此，MVU 又被称为SDE（semidefinite embedding）。

MVU算法该方法通过局部的Gram 矩阵保持局部的相似性，在降维过程中保持方差的最大化。利用局部提供的信息，保持整体的几何结构及性质。使得远离的数据点其低维坐标展开得尽可能的远，并且约束保持局部近邻点的欧氏距离不变。这个算法的原理是通过SDP学习一个Gram 内积矩阵，再对这个内积矩阵进行特征分解获得全局低维坐标。但在降维的过程中，MVU 算法存在较大的时间和空间的消耗。

5.ICA

独立成分分析算法（Independent Component Correlation Algorithm，ICA）在信号处理中是一种用于将多元信号分离为加性子分量的计算方法。ICA假设观察到的随机信号x服从模型x=As，其中s为未知源信号，其分量相互独立，A为未知混合矩阵，因此又被称为盲源分离(Blind source separation, BSS)。ICA的目的是通过且仅通过观察x来估计混合矩阵A以及源信号s。

ICA与PCA的主要区别在于：(1)PCA假设源信号间彼此非相关，ICA假设源信号间彼此独立；(2) PCA认为主元之间彼此正交，样本呈高斯分布，ICA则不要求样本呈高斯分布。

6.其它降维方法

除此之外，还有缺失值比率（Missing Value Ratio）、低方差滤波（Low Variance Filter）、高相关滤波（High Correlation filter）、随机森林（Random Forest）、反向特征消除（Backward Feature Elimination）、前向特征选择（Forward Feature Selection）等降维方法，感兴趣的读者可以自行查阅相关资料。