30、支持向量机的协同学习与选择性集成算法研究

支持向量机的协同学习与选择性集成算法研究

1. 多类支持向量机的偏差学习问题改进

在多类支持向量机（M - SVM）的学习中，偏差学习问题一直是一个关键环节。基于偏差学习问题（6）的最优解，我们发现所得到的决策函数的测试准确性变得不太理想。而且，偏差学习问题中的不等式约束非常复杂，其计算成本较高。

为了解决这个问题，我们对偏差学习问题进行了改进，通过简化不等式约束，得到了修改后的偏差学习问题：
$$
\begin{align }
&\min_{\gamma,y} \sum_{i = 1}^{K}\sum_{j = 1,j\neq i}^{K}\sum_{l = 1}^{m_i} y_{ij}^l\
&\text{s.t. } -\gamma_i + \gamma_j + y_{ij}^q \geq - \left[\frac{1}{K + 1}\sum_{l = 1,l\neq i}^{K}\sum_{r = 1}^{m_i} K(A_i^q^T, A_i^r^T)u_{il}^r - \sum_{r = 1}^{m_l} K(A_i^q^T, A_l^r^T)u_{li}^r\right]\
& - \left[\frac{1}{K + 1}\sum_{l = 1,l\neq j}^{K}\sum_{r = 1}^{m_j} K(A_i^q^T, A_j^r^T)u_{jl}^r - \sum_{r = 1}^{m_i} K(A_i^q^T, A_l^r^T)u_{lj}^r\right] + 1\
&y_{ij}^l \geq 0, \text{ for } i, j = 1, \ldots,