LLE(局部线性嵌入)

*基本思想

LLE的基本思想是在任意一个样本点和他的近邻点之间构造一个局部线性平面，这个样本点可以由他的领域点线性重构而成，并且重构权值使得样本点与领域的线性重构误差达到最小。在低维空间中保持每个样本点和他领域重构关系不变，并且假设低维空嵌入是局部线性的。通过最小化重构误差，可以得到高维向量的嵌入结果。LLE中最小重构误差保持数据局部领域的几何性质，也就是最小重构误差对于数据平移，旋转，缩放保持不变。

**算法步骤

1）选择近邻点

最简单的就是选择k近邻点。也有其他的比如超求标准，也就是任意一个落在样本点为球心，半径为r的超球内都可以看做近邻点。

2）计算基于最小重构误差权值

本质是一个求解最小值得优化问题，而对于这个约束的求解本质上可以采用拉格朗日乘数法，由于在优化目标中格莱姆矩阵是正定的，那么他的逆也就存在。

3）特征映射

最后一步是根据得到的最优权值W计算样本的低纬嵌入。在求解最小值的优化过程，满足一些约束条件，比如消除平移自由度和旋转自由度。满足这些的约束条件下的优化嵌入可以通过多种方法求得。最简单的是求代价矩阵的最小的d+1个特征值对应的特征向量。

***算法分析

LLE可以学习具有局部线性结构的任意维低维流形。使得数据点与其近邻点在平移，旋转和缩放变化下保持近邻关系不变。并且LLE有全局最优解，不需要迭代。