15、机器学习中的数据降维、管道化处理与模型评估

机器学习中的数据降维、管道化处理与模型评估

1. 新数据点的投影

在之前的KPCA（核主成分分析）应用示例中，如半月形和同心圆数据集，我们将单个数据集投影到了新特征上。但在实际应用中，我们可能需要对多个数据集进行转换，例如训练数据和测试数据，以及模型构建和评估后收集的新示例。下面将介绍如何投影不属于训练数据集的数据点。

1.1 标准PCA投影回顾

在标准PCA方法中，我们通过计算变换矩阵与输入示例之间的点积来投影数据，投影矩阵的列是从协方差矩阵中获得的前k个特征向量（v）。

1.2 KPCA投影新数据点

KPCA中，我们获得的是中心化核矩阵（而非协方差矩阵）的特征向量（a），这意味着这些示例已经投影到了主成分轴v上。若要将新示例$x’$投影到该主成分轴上，需要计算$\phi(x’)^T v$。幸运的是，我们可以使用核技巧，避免显式计算该投影。不过，与标准PCA不同，KPCA是一种基于内存的方法，每次投影新示例时都需要重用原始训练数据集。

具体步骤如下：
1. 计算训练数据集中每个第i个示例与新示例$x’$之间的成对RBF核（相似度）：
- $\phi(x’)^T v = \sum_{i} a(i) \phi(x’)^T \phi(x(i)) = \sum_{i} a(i) \kappa(x’, x(i))$
- 其中，核矩阵K的特征向量a和特征值$\lambda$满足$K a = \lambda a$。
2. 计算新示例与训练数据集中示例的相似度后，需要用特征值对特征向量a进行归一化。以下是修改后的 rbf_kernel_pca 函数，它还会返