11、机器学习中的判别模型与泛化边界

机器学习中的判别模型与泛化边界

在机器学习领域，判别模型和泛化边界是非常重要的概念。下面我们将详细探讨这些概念，包括相关的练习、判别模型的构建、可学习性以及泛化边界的推导。

1. 练习部分

在这部分，包含了多个与主成分分析（PCA）、线性判别分析（LDA）和局部线性嵌入（LLE）相关的练习。
- Q4.1 ：使用归纳法证明 m 维 PCA 对应于样本协方差矩阵 S 的 m 个最大特征值对应的 m 个特征向量所定义的线性投影，并使用拉格朗日乘数法来强制正交约束。
- Q4.2 ：在最小误差公式下推导 PCA（I），即确定图 4.7 中的每个距离 ei，并寻找 w 以最小化总误差 $\sum_{i} e_{i}^{2}$。
- Q4.3 ：在最小误差公式下推导 PCA（II），给定 n 维空间中的一组 N 个向量 $D = {x_1, x_2, \cdots, x_N}$，寻找一组完整的正交基向量 ${w_j \in R^n | j = 1, 2, \cdots, n}$，满足 $w_{j}^{\top} w_{j’} = \begin{cases} 1, & j = j’ \ 0, & j \neq j’ \end{cases}$。目标是用仅涉及 m < n 维的表示近似 $x_i$，即 $\tilde{x} i = \sum {j = 1}^{m} (w_{j}^{\top} x_i) w_j + \sum_{j = m + 1}^{n} b_j w_j$。然后需要完成两个任务：
- a. 证明 m 个最