16、支持向量机与决策树算法详解

支持向量机与决策树算法详解

1. 支持向量机（SVM）相关内容

1.1 使用核技巧计算偏置项

在支持向量机中，可以使用核技巧来计算偏置项，其公式如下：
$b = \frac{1}{n_s} \sum_{i=1,\alpha_i > 0}^{m} (t_i - w^T \phi(x_i))$
$= \frac{1}{n_s} \sum_{i=1,\alpha_i > 0}^{m} (t_i - \sum_{j=1}^{m} \alpha_j t_j \phi(x_j)^T \phi(x_i))$
$= \frac{1}{n_s} \sum_{i=1,\alpha_i > 0}^{m} (t_i - \sum_{j=1,\alpha_j > 0}^{m} \alpha_j t_j K(x_i, x_j))$

1.2 在线支持向量机

在线学习意味着随着新实例的到来进行增量学习。对于线性支持向量机分类器，可以使用梯度下降（如使用 SGDClassifier ）来最小化从原始问题推导而来的成本函数。该成本函数如下：
$J(w, b) = \frac{1}{2} w^T w + C \sum_{i=1}^{m} \max(0, 1 - t_i (w^T x_i + b))$

成本函数中的第一项会促使模型拥有较小的权重向量$w$，从而得到更大的间隔；第二项计算所有间隔违规的总和。如果一个实例位于间隔带之外且在正确的一侧，其间隔违规为 0，否则与到间隔带正确一侧的距离成正比。最小化该项可确保模型的间隔违规尽可能小且少。

1.3 合页损