【机器学习基础】CH2 - 监督学习(3)核方法

2.3 Kernel Methods 核方法

• recall： 在2.2.2部分，我们看到，general linear basis models 通过依靠一组函数 { ϕj}\{\phi_j\}{ ϕj​} 将输入 $x_i\in {\mathbb{R}}^d$ 转换在 $\mathbb{R}$ 上。而 { ϕj}\{\phi_j\}{ ϕj​} 被称为 feature maps 特征映射，它们将从输入数据中提取 有用的特征，并允许我们在生成的空间 $\mathbb{R}$ 中使用 线性模型。
• 这部分，我们将在 kernel methods 中广泛的应用这个想法。

2.3.1 最小二乘（revisited）

考虑 $l^2$ - 正则最小二乘问题（也称为 ridge regression 岭回归），其 feature map 为 { ϕj}j=0M−1\{\phi_j\}^{M-1}_{j=0}{ ϕj​}j=0M−1​ ，
$$R_{emp}(w)=\frac{1}{2N}(||\Phi \omega -y|{|}^2+\lambda ||\omega |{|}^2)\text{\hspace{1em}(2.34)}$$

回忆到 design matrix $\Phi$ 的定义：

假设正则系数 $\lambda >0$ ，和 Proposition 2.7，我们可以证明最小二乘的解可由下式得到：
$$\hat{w}=({\Phi }^T\Phi +\lambda I_M{)}^{-1}{\Phi }^{T}y\text{\hspace{1em}(2.35)}$$
且预测输出为 $\hat{y}=\Phi \hat{w}$ 。

更普遍的情况下，在假设空间里的最佳逼近方程 $\hat{f}$ 对一个新的样本 $x\in {\mathbb{R}}^d$ 做出如下预测：
$$\hat{f}(x)=\varphi (x{)}^T\hat{w}\text{\hspace{1em}(2.36)}$$
其中，$\varphi (x)=({\varphi }_0(x),...,{\varphi }_{M-1}(x))$。

注意到，不像 Proposition 2.7 ，我们在此处不需要可逆性的条件，因为 ${\Phi }^T\Phi +\lambda I_M$ 永远为正（$\lambda >0$），所以本身就是可逆的。

• Exercise 2.14

  推导正则化最小二乘解（2.35）。

  

• 现考虑正则化最小二乘解的另一形式：
  $$\hat{w}=({\Phi }^T\Phi +\lambda I_M{)}^{-1}{\Phi }^{T}y={\Phi }^T(\Phi {\Phi }^T+\lambda I_N{)}^{-1}y\text{\hspace{1em}(2.37)}$$

我们又可以得到：
$$\hat{f}(x)=\sum _{i=1}^N{\alpha }_i\varphi (x{)}^T\varphi (x_i)\text{\hspace{1em}(2.42)}$$
式子（2.42）和（2.36）实际上是等价的。

说明啥？

注意到，$N\times N$ 的矩阵 $\Phi {\Phi }^T$ 的第 $i$ 和 $j$ 部分可以写成 $\varphi (x_i{)}^T\varphi (x_j)$ 。因此，不像式子（2.36），式子（2.42）只取决于 feature map $\varphi$ by 函数 (x,x′)↦ϕ(x)Tϕ(x′)(x,x')\mapsto \phi(x)^T\phi(x')