降维算法之局部线性嵌入-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_45670407/article/details/146997682

局部线性嵌入（Locally Linear Embedding，LLE）算法详解

先说理解：

局部线性嵌入（LLE，Locally Linear Embedding）是一种非线性降维方法，通俗来说，它就像一个“拼图大师”，能把一张揉皱的高维数据“纸团”摊平到2D或3D空间，同时尽量保持每个小块和它邻居之间的关系。

让我用一个生活化的例子来解释：

场景：摊开一张皱纸

想象你有一张纸，上面画了很多小点，代表数据。这张纸被揉成一团，变成了一个复杂的3D形状，你想把它摊平到桌面上（2D），但又不想破坏点之间的“邻里关系”。LLE 就像一个聪明的手艺人：

看邻居：它先看看每个点周围最近的几个邻居，记住这些邻居之间的相对位置（比如点A离点B近，离点C稍远）。
局部拼图：假设每个点都可以用它邻居的“加权组合”来表示（就像拼图里的一小块可以用旁边的块拼出来）。
摊平全局：然后，LLE 把所有点铺到2D空间，尽量让每个点和它的邻居保持原来的“拼图关系”。

结果是：纸团被摊平了，点之间的局部结构没怎么变样。

怎么工作的？

找邻居：对于每个数据点，LLE 找到它的 k 个最近邻（比如 k=5）。
算权重：算出每个点可以用它的邻居怎么“线性组合”出来（就像用邻居的距离和方向重现自己）。
降维重排：在低维空间（比如2D）重新摆放所有点，让这些“组合关系”尽量保持不变。

和 PCA 的区别

PCA：像用直尺量全局变化，找的是整个数据的“最大方向”，不关心局部细节。
LLE：像拼图匠，专注于“局部邻居关系”，适合处理弯曲、缠绕的非线性数据。

举个例子

假设你有一堆手写数字“3”的图片，但这些“3”被拉伸、旋转，成了高维数据。LLE 会：

看看每个“3”和它最像的几个“3”长什么样。
把它们摊到2D空间，保持相似的“3”靠在一起，不相似的分开。
结果你会看到一张图，所有的“3”按相似度聚成一团。

生活中的意义

LLE 就像你在整理老照片：每张照片和它旁边的几张有相似背景或人物，LLE 帮你把这些照片铺平，保持“邻居关系”，让你看出哪些是一组的。它特别适合处理像人脸、声音这样复杂的非线性数据。

简单来说，LLE 就是：把皱巴巴的高维数据摊平，保护每个点和邻居的小圈子关系！

1. LLE 算法简介

局部线性嵌入（LLE）是一种非线性降维算法，主要用于高维数据的低维嵌入。LLE 通过保持数据点的局部结构，来学习数据在低维空间的表示。LLE 假设数据在局部区域内近似线性，因此，它使用局部线性关系来对数据进行降维。

LLE 属于流形学习（Manifold Learning）的一类算法，旨在通过学习数据点之间的局部相似性来恢复数据的全局结构，从而实现在低维空间中的有效表示。

2. LLE 算法原理

LLE 通过以下步骤实现数据的降维：

步骤 1：寻找每个数据点的邻居
对于每个数据点 $x_i$ ，LLE 找到它的 $k$ 个最邻近点（邻居）。通常使用欧几里得距离来度量数据点之间的相似性。
步骤 2：线性重构邻居
对于每个数据点 $x_i$ ，LLE 假设它可以通过其邻居的线性组合来近似，即存在一组权重 $W_{ij}$ ，使得：
$x_i \approx \sum_{j \in \mathcal{N}_i} W_{ij} x_j$
其中， $\mathcal{N}_i$ 是数据点 $x_i$ 的邻居集合， $W_{ij}$ 是点 $x_i$ 和邻居 $x_j$ 之间的重构权重。通过最小化重构误差，得到每个点的重构权重 $W_{ij}$ 。
步骤 3：低维嵌入
将高维数据映射到低维空间，使得低维表示仍然保持原来数据点之间的局部结构。目标是通过保持重构权重 $W_{ij}$ 在低维空间中的对应关系，得到低维嵌入 $y_i$ 。具体的目标函数为：
$\min_Y \sum_i \left\| y_i - \sum_{j \in \mathcal{N}_i} W_{ij} y_j \right\|^2$
步骤 4：求解低维嵌入
该优化问题可以通过求解特征值问题来解决。最终得到的低维嵌入 $Y$ 便是数据在低维空间中的表示。

3. 数学公式

重构误差最小化
对于每个数据点 $x_i$ ，找到权重 $W_{ij}$ 使得 $x_i$ 可以通过它的邻居的线性组合来表示：
$x_i \approx \sum_{j \in \mathcal{N}_i} W_{ij} x_j$
低维嵌入的优化目标
在低维空间中，保持重构误差最小化，即：
$\min_Y \sum_i \left\| y_i - \sum_{j \in \mathcal{N}_i} W_{ij} y_j \right\|^2$

其中， $y_i$ 是低维嵌入， $W_{ij}$ 是通过高维数据的邻居关系学到的权重。

4. LLE 算法的优缺点

优点

非线性降维：LLE 适用于非线性数据结构，能够发现和保持数据的局部几何结构。
保留局部结构：LLE 在降维时保持了数据点之间的局部线性关系，这对于某些类型的数据，如图像、语音等，具有很好的效果。

缺点

计算复杂度高：LLE 需要计算数据点的邻居关系，并解决特征值问题，因此计算量较大，不适合大规模数据。
敏感性：LLE 对于邻居数目 $k$ 和噪声较为敏感，需要合理选择超参数。
全局结构保留不足：虽然 LLE 能保持局部结构，但可能无法很好地保留全局结构。

5. LLE 的 Python 实现

import numpy as np
import matplotlib.pyplot as plt
from sklearn.manifold import LocallyLinearEmbedding
from sklearn.datasets import load_digits

# 载入数据（手写数字数据集）
digits = load_digits()
X, y = digits.data, digits.target

# 使用 LLE 降维到 2D
lle = LocallyLinearEmbedding(n_neighbors=10, n_components=2, method='standard')
X_lle = lle.fit_transform(X)

# 可视化降维后的结果
plt.figure(figsize=(8, 6))
plt.scatter(X_lle[:, 0], X_lle[:, 1], c=y, cmap='jet', alpha=0.7)
plt.colorbar(label='Digit Label')
plt.title("LLE Visualization of Digits Dataset")
plt.xlabel("LLE Component 1")
plt.ylabel("LLE Component 2")
plt.show()