Laplacian Eigenmaps原理及推导过程

1.算法思想

        Laplacian Eigenmaps 与LLE方法类似，都是用于处理流形数据的降维方法。两者的目标也是相近的，都是为了找到高维数据的低维表示，同时保留数据中的局部结构。对于如何定义局部结构？在LLE方法中，定义每个数据点与它的近邻具有线性关系。Laplacian Eigenmaps的提出者给出与之不同的方案。

         Laplacian Eigenmaps 方法中，核心的思想是通过计算数据点之间存在某种相似性来衡量局部结构。一旦有了相似性的概念，数据点彼此之间的相似性就可以用于优化低维数据点的位置，使得在低维表示下，以保持相同的相似性。

        通常，局部距离 local distance 可作为相似性的一种度量。我们可以将这种距离相似性嵌入数据的表示中。现在的问题是如何具体地定义相似呢？

        在数学上，从函数角度直观地理解，相似的输入就会得到一个高值输出，如果不相似，会得到一个低值。由于我们只知道数据在空间中的位置，我们能做的是，如果数据点的距离很短，希望相似度值很高，如果距离很远，它应该很小。因此，相似性的度量应该与距离成反比。

       通常使用的是高斯核函数，类似于kernel method中高斯径向基函数。