5、核函数的示例、性质及线性空间中相异性的表示

核函数的示例、性质及线性空间中相异性的表示

1. 核函数的示例与性质

1.1 核函数与特征空间

给定数据 $x_1, \cdots, x_m$ 和一个能产生正定矩阵 $K$ 的核函数 $k$，总能构造一个维数至多为 $m$ 的特征空间。若执行的算法要求 $k$ 对应某个空间中的点积，即便 $k$ 一般不是正定的，但对于手头的训练数据能产生正定的 Gram 矩阵 $K$，训练时也不会出错。若 $k$ 得到的矩阵有小的负特征值，可添加一个严格正定核函数 $k’$ 的小倍数来得到正定矩阵。

1.2 常见核函数示例

• 多项式核函数 ：$k(x, x’) = \langle x, x’ \rangle^d$
• 高斯径向基函数核函数 ：$k(x, x’) = \exp\left(-\frac{|x - x’|^2}{2\sigma^2}\right)$，其中 $\sigma > 0$
• Sigmoid 核函数 ：$k(x, x’) = \tanh(\beta \langle x, x’ \rangle + \theta)$，其中 $\beta > 0$ 且 $\theta < 0$，不过该核函数并非正定，但在实践中仍有成功应用。
• 非齐次多项式核函数 ：$k(x, x’) = (\langle x, x’ \rangle + c)^d$，其中 $d \geq 1$，$c \geq 0$
• Bn -