LLE算法简介-工程实现

LLE算法是一种经典都降维算法，是在2000年提出的

到现在也已经很多年了，两位大牛提出了LLE算法可以说是打开了一个领域

后来的这些年围绕这个算法的论文估计要成百上千篇，该领域出现的硕博估计也是人数众多

我这里只能简单记录一下这个LLE的工程实现，免得以后忘记

假设有高维数据A， A中的点为A1， A2， A3.....An， A为K维矩阵

目的是把A映射到d维空间中，也就是生成矩阵D， D中的点为

D1, D2, D3.....Dn, 和A中的点一一对应，但维数降低为d维

d << K

1、 对于A中的每一个点Ai， 选取m个近邻{Ai1, Ai2...Aim}， 距离公式可以根据数据情况而定

2、矩阵A中的每个点，都有m个近邻，然后用m个近邻点重建A，比如：Ai = Wi1*Ai1 + Wi2*Ai2 .... + Wim*Aim

      然后这就求了个一组权值，也就是对于每个点Ai都会得到一组权值{Wi1, Wi2.....Wim}

      所有的权值放在一起也是一个矩阵，成为矩阵A的重建权值矩阵

3、把矩阵A中的每个点映射到矩阵D中， 要求 Di=Wi1*Di1 + Wi2*Di2 + ... + Wim*Aim, 当然这一步可以有误差

       这一步相当于固定了权值矩阵，求映射后的向量Di

求取过程要满足两个约束条件：