19、支持向量机的变体与相关技术

支持向量机的变体与相关技术

1. 支持向量机优化问题

在支持向量机的相关研究中，存在这样一个优化问题。引入与 $x_i$ 和 $d_i$ 相关的拉格朗日乘子 $\alpha_i$ 和 $\beta_i$ 后，我们得到以下优化问题：
最大化 $Q(\alpha, \beta)$：
[
Q(\alpha, \beta)=\sum_{i = 1}^{M}\alpha_i-\frac{1}{2}\sum_{i,j = 1}^{M}\alpha_i \alpha_j y_i y_j K(x_i, x_j)-\frac{1}{2}\gamma\sum_{i,j = 1}^{M}(\alpha_i + \beta_i - C)(\alpha_j + \beta_j - C)K^*(d_i, d_j)
]
约束条件如下：
- (\sum_{i = 1}^{M}(\alpha_i + \beta_i - C) = 0)
- (\sum_{i = 1}^{M}y_i \alpha_i = 0)
- (\alpha_i \geq 0)，(\beta_i \geq 0)，其中 (i = 1, \cdots, M)

这里，(K(x_i, x_j) = \varphi^T(x_i) \varphi(x_j)) 且 (K^ (d_i, d_j) = \varphi^{ T}(d_i) \varphi^*(d_j))。决策函数由下式给出：
[
D(x)=\sum_{i = 1}^{M}y_i \alpha_i K(x_i, x)+b
]
这表明在分类时未使用特权信息。