西瓜书学习笔记——低维嵌入（公式推导+举例应用）

算法介绍

低维嵌入（Low-Dimensional Embedding）是一种降低高维数据维度的技术，目的是在保留数据特征的同时减少数据的复杂性。这种技术常用于可视化、特征学习、以及数据压缩等领域。低维嵌入的目标是将高维数据映射到一个低维空间，以便更好地理解和可视化数据。

在$k$近邻学习中，随着数据维度的增加，样本之间的距离变得更加稀疏，导致KNN算法性能下降。这是因为在高维空间中，样本之间的距离变得很难定义和度量，使得KNN算法的效果变差。

通过低维嵌入技术，可以将高维数据映射到一个更低维的子空间中。这样可以在新的低维表示中更好地保留数据的结构和关系，从而提高KNN算法在原始空间中的性能。

低维嵌入示意图如下所示：

我们假定$m$个样本在原始空间的距离矩阵为$D\in {\mathbb{R}}^{m\times m}$，其中第$i$行$j$列的元素$dis{t}_{ij}$为样本$x_i$到样本$x_j$的距离。我们的目标是获得样本在$d^{\prime }$维空间的表示$Z\in {\mathbb{R}}^{d^{\prime }\times m}$，$d^{\prime }\le d$，且任意两个样本在$d^{\prime }$维空间中的欧式距离等于原始空间中的距离，即$||z_i-z_j||=dis{t}_{ij}$。

令$B=Z^{T}Z\in {\mathbb{R}}^{m\times m}$，其中$B$是降维后样本的内积矩阵，$b_{ij}=z_i^T{z}_j$，有：
$$\begin{array}{rl}dis{t}_{ij}^2& =||z_i|{|}^2+||z_j|{|}^2-2z_i^T{z}_j\\ & =b_{ii}+b_{jj}-2b_{ij}\end{array}\text{\hspace{1em}(3)}$$

为了方便讨论，我们令降维后的样本$Z$被中心化过，即${\sum }_{i=1}^m{z}_i=0$，显然矩阵$B$的行和列的和都为零，即${\sum }_{i=1}^m{b}_{ij}={\sum }_{j=1}^m{b}_{ij}=0$，故可知：
$$\begin{array}{rl}\sum _{i=1}^{m}dis{t}_{ij}^2& =\sum _{i=1}^m{b}_{ii}+\sum _{i=1}^m{b}_{jj}-2\sum _{i=1}^m{b}_{ij}\\ & =tr(B)+m{b}_{jj}\end{array}\text{\hspace{1em}(4)}$$

$$\begin{array}{rl}\sum _{j=1}^{m}dis{t}_{ij}^2& =\sum _{j=1}^m{b}_{ii}+\sum _{j=1}^m{b}_{jj}-2\sum _{j=1}^m{b}_{ij}\\ & =m{b}_{ii}+tr(B)\end{array}\text{\hspace{1em}(5)}$$

$$\begin{array}{rl}\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2& =\sum _{i=1}^m\sum _{j=1}^m{b}_{ii}+\sum _{i=1}^m\sum _{j=1}^m{b}_{jj}-2\sum _{i=1}^m\sum _{j=1}^m{b}_{ij}\\ & =2m\cdot tr(B)\end{array}\text{\hspace{1em}(6)}$$

其中$tr(B)={\sum }_{i=1}^m{b}_{ii}={\sum }_{i=1}^m{z}_i^T{z}_i={\sum }_{i=1}^m||z_i|{|}^2$，令：

$$dis{t}_{i\cdot }^2=\frac{1}{m}\sum _{j=1}^{m}dis{t}_{ij}^2\text{\hspace{1em}(7)}$$

$$dis{t}_{\cdot j}^2=\frac{1}{m}\sum _{i=1}^{m}dis{t}_{ij}^2\text{\hspace{1em}(8)}$$
$$dis{t}_{\cdot \cdot }^2=\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2\text{\hspace{1em}(9)}$$

• $dis{t}_{i\cdot }^2$表示样本$i$到所有其他样本的平均距离平方。这个值反映了样本 $i$ 与其他样本的整体相似性。
• $dis{t}_{\cdot j}^2$表示所有样本到样本 $j$ 的平均距离平方。这个值反映了所有样本到某个特定样本 $j$ 的整体相似性。
• $dis{t}_{\cdot \cdot }^2$表示所有样本之间的平均距离平方。这个值反映了整个样本集合的相似性。

由式（3）可知：
$$b_{ij}=-\frac{1}{2}(dis{t}_{ij}^2-b_{ii}-b_{jj})\text{\hspace{1em}(10)}$$

将式（6）带入式（9）中可知：
$$\begin{array}{rl}dis{t}_{\cdot \cdot }^2& =\frac{1}{m^2}\cdot 2m\cdot tr(B)\\ & =\frac{2}{m}\cdot tr(B)\end{array}\text{\hspace{1em}(11)}$$

故有：
$$tr(B)=\frac{m}{2}dis{t}_{\cdot \cdot }^2\text{\hspace{1em}(12)}$$

将式（4）带入式（8）中有：
$$\begin{array}{rl}dis{t}_{\cdot j}^2& =\frac{1}{m}(tr(B)+m{b}_{jj})\end{array}\text{\hspace{1em}(13)}$$

将式（12）带入式（13）中有：
$$\begin{array}{rl}dis{t}_{\cdot j}^2& =\frac{1}{m}(tr(B)+m{b}_{jj})\\ & =\frac{1}{m}(\frac{m}{2}dis{t}_{\cdot \cdot }^2+m{b}_{jj})\\ & =\frac{1}{2}dis{t}_{\cdot \cdot }^2+b_{jj}\end{array}\text{\hspace{1em}(14)}$$

故有：
$$b_{jj}=dis{t}_{\cdot j}^2-\frac{1}{2}dis{t}_{\cdot \cdot }^2\text{\hspace{1em}(15)}$$

将式（5）带入式（7）中有：
$$\begin{array}{rl}dis{t}_{i\cdot }^2& =\frac{1}{m}(m{b}_{ii}+tr(B))\end{array}\text{\hspace{1em}(16)}$$

将式（12）带入式（16）中有：
$$\begin{array}{rl}dis{t}_{i\cdot }^2& =\frac{1}{m}(m{b}_{ii}+tr(B))\\ & =\frac{1}{m}(m{b}_{ii}+\frac{m}{2}dis{t}_{\cdot \cdot }^2)\\ & =b_{ii}+\frac{1}{2}dis{t}_{\cdot \cdot }^2\end{array}\text{\hspace{1em}(17)}$$
故有：
$$b_{ii}=dis{t}_{i\cdot }^2-\frac{1}{2}dis{t}_{\cdot \cdot }^2\text{\hspace{1em}(18)}$$

最后将式（15）和式（18）带入式（10）可得：

$$b_{ij}=-\frac{1}{2}(dis{t}_{ij}^2-dis{t}_{i\cdot }^2-dis{t}_{\cdot j}^2+dis{t}_{\cdot \cdot }^2)\text{\hspace{1em}(19)}$$

故此时就可通过降维前后不变的距离矩阵$D$来求取内积矩阵$B$。

最后我们通过对矩阵$B$进行特征值分解，即$B=V\Lambda V^T$，其中$\Lambda =\text{diag}({\lambda }_1,{\lambda }_2,...,{\lambda }_d)$为特征值所构成的对角矩阵，且${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_d$，$V$是特征向量。

故我们假定$B$有$d^{\star }$个非零特征值，它们所构成的对角矩阵${\Lambda }_{\star }=\text{diag}({\lambda }_1,{\lambda }_2,...,{\lambda }_{d^{\star }})$，其中$V_{\star }$是特征向量。且$B=Z^{T}Z=V_{\star }{\Lambda }_{\star }{V}_{\star }^T$，则$Z$可表达为：

$$Z={\Lambda }_{\star }^{1/2}{V}_{\star }^T\in {\mathbb{R}}^{d^{\star }\times m}\text{\hspace{1em}(20)}$$

其算法流程图如下所示：

实验分析

数据集如下图所示：

读入数据集：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# 设置中文显示
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 读取数据集
data = pd.read_csv('data/correlated_dataset.csv')

计算距离矩阵函数：

def calculate_distance_matrix(data):
    # 计算距离矩阵
    num_samples = len(data)
    distances = np.zeros((num_samples, num_samples))

    for i in range(num_samples):
        for j in range(num_samples):
            distances[i, j] = np.linalg.norm(data[i] - data[j])

    return distances

MDS算法：

def calculate_mds_diagonal_matrix(distances, d_star):
    m = len(distances)

    # 计算降维前后不变的距离平方
    dist_i_dot_sq = np.mean(distances**2, axis=1)
    dist_dot_j_sq = np.mean(distances**2, axis=0)
    dist_dot_dot_sq = np.mean(distances**2)

    # 计算内积矩阵B
    B = -0.5 * (distances**2 - dist_i_dot_sq.reshape(-1, 1) - dist_dot_j_sq + dist_dot_dot_sq)

    # 对B进行特征值分解
    eigenvalues, eigenvectors = np.linalg.eigh(B)

    # 选择非零特征值对应的特征向量
    nonzero_eigenvalues = eigenvalues[eigenvalues > 1e-10]
    nonzero_eigenvectors = eigenvectors[:, eigenvalues > 1e-10]

    # 取前d_star个非零特征值对应的特征向量
    top_indices = np.argsort(nonzero_eigenvalues)[::-1][:d_star]
    selected_eigenvectors = nonzero_eigenvectors[:, top_indices]

    # 计算对角矩阵
    diagonal_matrix = np.diag(nonzero_eigenvalues[top_indices])

    return diagonal_matrix

定义画图函数：

def plot_diagonal_matrix(diagonal_matrix):
    plt.imshow(diagonal_matrix, cmap='viridis')

    # 在主对角线上显示数值
    for i in range(diagonal_matrix.shape[0]):
        plt.text(i, i, f'{diagonal_matrix[i, i]:.2f}', color='red', ha='center', va='center')

    plt.colorbar(label='特征值')
    plt.title('特征值构成的对角矩阵')
    plt.show()

执行MDS算法：

# 提取特征列
features = data.iloc[:, :-1].values

# 计算距离矩阵
distances = calculate_distance_matrix(features)

# 设定降维后的维度
d_star = 6

# 使用MDS算法计算特征值构成的对角矩阵
diagonal_matrix = calculate_mds_diagonal_matrix(distances, d_star)

# 绘制对角矩阵的可视化
plot_diagonal_matrix(diagonal_matrix)