23、核函数：理论、类型与应用

核函数：理论、类型与应用

1. 核函数基础

1.1 特征映射与核函数示例

核函数在机器学习中扮演着重要角色，它允许我们在特征空间中进行计算，而无需显式地进行特征映射。例如，对于输入向量 $\begin{pmatrix}x_1 \ x_2\end{pmatrix}$，通过特征映射 $\varphi$ 可以将其转换为 $\begin{pmatrix}x_1^2 \ \sqrt{2}x_1x_2 \ x_2^2\end{pmatrix}$。此时，核函数 $k(x_h, x_{\kappa})$ 可以表示为：
[
\begin{align }
k(x_h, x_{\kappa})&=(x_{h1}^2, \sqrt{2}x_{h1}x_{h2}, x_{h2}^2) \cdot \begin{pmatrix}x_{\kappa1}^2 \ \sqrt{2}x_{\kappa1}x_{\kappa2} \ x_{\kappa2}^2\end{pmatrix}\
&= x_{h1}^2x_{\kappa1}^2 + 2x_{h1}x_{h2}x_{\kappa1}x_{\kappa2} + x_{h2}^2x_{\kappa2}^2\
&= (x_{h1}x_{\kappa1} + x_{h2}x_{\kappa2})^2\
&= \langle x_h, x_{\kappa} \rangle^2
\end{align }
]
这表明，虽然 $k(x_h, x_{\kappa})$ 是在特征空间中计算的，但它可以等价地在输入空间中表示。这种特性在特征空间维度巨大甚至