LLE算法是一种经典都降维算法,是在2000年提出的
到现在也已经很多年了,两位大牛提出了LLE算法可以说是打开了一个领域
后来的这些年围绕这个算法的论文估计要成百上千篇,该领域出现的硕博估计也是人数众多
我这里只能简单记录一下这个LLE的工程实现,免得以后忘记
假设有高维数据A, A中的点为A1, A2, A3.....An, A为K维矩阵
目的是把A映射到d维空间中,也就是生成矩阵D, D中的点为
D1, D2, D3.....Dn, 和A中的点一一对应,但维数降低为d维
d << K
1、 对于A中的每一个点Ai, 选取m个近邻{Ai1, Ai2...Aim}, 距离公式可以根据数据情况而定
2、矩阵A中的每个点,都有m个近邻,然后用m个近邻点重建A,比如:Ai = Wi1*Ai1 + Wi2*Ai2 .... + Wim*Aim
然后这就求了个一组权值,也就是对于每个点Ai都会得到一组权值{Wi1, Wi2.....Wim}
所有的权值放在一起也是一个矩阵,成为矩阵A的重建权值矩阵
3、把矩阵A中的每个点映射到矩阵D中, 要求 Di=Wi1*Di1 + Wi2*Di2 + ... + Wim*Aim, 当然这一步可以有误差
这一步相当于固定了权值矩阵,求映射后的向量Di
求取过程要满足两个约束条件: