ML—常见的特征提取方法

华电北风吹
日期：2015/11/20

特征提取不同于特征选择，特征提取是利用原有的特征根据一定的算法提取出原始特征中包含的抽象特征。

一、PCA(主成分分析)
PCA的是一种无监督的特征降维方法。确切来说，PCA不是一种特征降维方法，PCA一次寻找一组正交的映射空间，并且使得能够在这个映射空间上方差最大。

二、MDS(Muli-demision scaling)
MDS也是一种无监督的特征映射方法。MDS建立一个原始高维输入空间样本到低维特征空间样本的一一映射，建立的原则是在输入空间距离近的样本在低维特征空间的距离也要近。

三、Isomap
Isomap基于MDS。Isomap通过计算最段路径利用MDS进行降维。在利用Isomap的时候可以有两种方法确定原始输入空间样本之间知否有路径：一是设置阀值，两样本之间距离小于阀值的就认为是有边；另一种是设置邻居节点个数k，认为每个节点都与与它最近的k个样本之间存在边。

四、LLE
LLE是局部化模型，通过对节点的临域建立OLS回归模型，然后根据OLS的权重构建特征空间样本。

五、SVD
奇异值分解也可以作为矩阵特征的特征降维，具体参考svd相关部分解释。

在这里介绍一个比较好的基于matlab的特征降维工具包，本文的降维方法可以通过matlab特征降维工具包实现
工具包下载地址：http://lvdmaaten.github.io/drtoolbox/