13、稀疏流形子空间学习：线性降维新方法

稀疏流形子空间学习：线性降维新方法

1. 引言

在机器学习和模式识别领域，我们关注的大多数数据集或信号都是高维的。然而，很多情况下，数据的内在结构可以用低维空间中的几个基或参数来表示。为了在低维空间中很好地保留高维数据的底层结构，降维方法应运而生。

过去几十年，研究人员开发了大量算法来解决降维问题，这些算法大致可分为线性和非线性两类：
- 线性方法 ：如主成分分析（PCA）、Fisher线性判别分析（FLDA），通过数据的全局结构以无监督和有监督的方式处理降维问题。当底层数据分布为高斯分布时，这些方法效果很好。一些非线性方法如局部线性嵌入（LLE）和拉普拉斯特征映射（LEM）也可线性化，以提高计算效率和局部描述的准确性。所有这些线性方法都可以统一在图嵌入框架下，在分类任务（如人脸识别）中表现出色。
- 非线性方法 ：隐式地找到由几个特征向量确定的低维嵌入，在流形学习中特别有用。关键步骤是通过在固定邻域范围内或全局连接数据点来构建成对图。局部方法（如LLE、Hessian LLE和拉普拉斯特征映射）使用每个数据及其局部邻域来计算一组权重；全局方法（如Isomap、半定嵌入、最小体积嵌入和结构保留嵌入）试图通过计算任意一对数据点之间的测地距离来保留数据集的局部和全局结构。但这些非线性方法在构建底层图时，邻域大小的选择很关键，且缺乏插值和外推能力，限制了其在现实世界中的应用。

2. 研究贡献

我们提出了一种新的线性降维算法——稀疏流形子空间学习（SMSL）。
- 步骤 ：
1. 基于局部稀疏编码构建邻域图，这是