9、统计与机器学习算法：核函数与Bagging方法详解

统计与机器学习算法：核函数与Bagging方法详解

1. 核函数在SVM中的应用

在机器学习中，核函数是支持向量机（SVM）的重要组成部分，不同的核函数会对模型的性能产生显著影响。

1.1 核函数的基本概念

核函数必须是对称的，并且最好具有正（半）定的Gram矩阵。Gram矩阵是所有可能的向量内积构成的矩阵，正定性确保了核算法能够收敛到唯一解。

1.2 常见核函数及其特点

核函数类型	公式	特点
线性核	$K(x_i, x_j) = x_i^T x_j + c$ （$c$为常数项）	最简单的核函数，适用于文本分类问题
多项式核	$K(x_i, x_j) = (\gamma x_i^T x_j + c)^d$ （$\gamma$为斜率，$d$为核的度数，$c$为常数项）	有两个参数，当$c = 0$且$d = 1$时为线性核。度数增加，决策函数变复杂，可能导致过拟合
径向基函数核（RBF）	$K(x_i, x_j) = \exp(-\gamma | x_i - x_j |^2)$ （$\gamma$可调整）	更复杂的核函数，性能可能优于多项式核。$\g