基于Frobenius范数构造L2-图的子空间聚类方法

基于Frobenius范数构造$L_2$-图的子空间聚类方法

引言

在子空间聚类中，基于Frobenius范数构造$L_2$-图的方法是一种常用的技术，它通过量化数据点之间的关系来构建图表示，进而实现对数据点的聚类。

这种方法特别适合于处理高维数据，其中数据点分布在不同的低维子空间内。

基本原理

$L_2$-图的构建依赖于Frobenius范数，这是一种衡量矩阵或张量元素平方和的根的范数。

通过最小化数据点表示误差的Frobenius范数，我们能找出数据点之间最合适的线性表示方式，进而构建出反映数据点间相似性的图。

构造L2-图

给定一组数据点 X = { x 1 , x 2 , … , x N } \mathbf{X} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_N\} X={x1​,x2​,…,xN​}，其中 ${\mathbf{x}}_i\in {\mathbb{R}}^d$，我们的目标是找到一个表示矩阵 $\mathbf{C}$，其中每一行 $c_i$ 表示数据点 ${\mathbf{x}}_i$ 如何通过其他数据点的线性组合来表示。即，

$${\mathbf{x}}_i=\sum _{j=1}^N{c}_{ij}{\mathbf{x}}_j$$

目标函数

为了构建$L_2$-图，我们最小化表示误差的Frobenius范数，目标函数可以表示为：

$$\underset{\mathbf{C}}{\min }\Vert \mathbf{X}-\mathbf{XC}{\Vert }_F^2$$

这里，$\Vert \cdot {\Vert }_F$ 表示Frobenius范数，$\mathbf{C}$ 是一个 $N\times N$ 的表示矩阵，其中 $\mathbf{CX}$ 表示数据点通过其他数据点线性组合的重构。

优化目标

目标函数可以展开为：

$$\underset{\mathbf{C}}{\min }\sum _{i=1}^N\Vert {\mathbf{x}}_i-\sum _{j=1}^N{c}_{ij}{\mathbf{x}}_j{\Vert }^2$$

这表明我们要 最小化每个数据点与其通过其他数据点线性组合 得到的重构之间的误差平方和。

约束条件

为了防止数据点用自身表示自身，通常会添加如下约束：

$$\mathbf{C}\odot \mathbf{I}=0$$

其中，$\mathbf{I}$ 是单位矩阵，$\odot$ 表示Hadamard乘积（逐元素乘积），$0$ 是零矩阵。

这个约束确保了矩阵 $\mathbf{C}$ 的对角线元素为零，即数据点不会用自身来表示自身。

构建相似度矩阵

一旦找到表示矩阵 $\mathbf{C}$，我们可以构建相似度矩阵 $\mathbf{W}$，它反映了数据点之间的相似度。通常，$\mathbf{W}$ 可以定义为 $\mathbf{C}$ 的绝对值：

$$\mathbf{W}=|\mathbf{C}|$$

谱聚类

最后，基于相似度矩阵 $\mathbf{W}$，我们可以使用谱聚类算法来对数据点进行聚类。谱聚类涉及构建拉普拉斯矩阵 $\mathbf{L}$，然后计算 $\mathbf{L}$ 的特征向量，并使用 $k$-means 或其他聚类算法对特征向量进行聚类。

拉普拉斯矩阵 $\mathbf{L}$ 定义为：

$$\mathbf{L}=\mathbf{D}-\mathbf{W}$$

其中 $\mathbf{D}$ 是度矩阵，其对角线元素为 $\mathbf{W}$ 的行和。

结论

基于Frobenius范数构造$L_2$-图的子空间聚类方法提供了一种系统的方式，通过量化数据点之间的关系，构建图表示，从而实现对高维数据的有效聚类。

这种方法通过最小化表示误差的Frobenius范数，确保了数据点能够被合理地表示为其他数据点的线性组合，进而揭示了数据点间的内在结构和潜在的子空间分布。