44、支持向量机与智能手机多生物特征模板保护技术

支持向量机与智能手机多生物特征模板保护技术

支持向量机控制与 Elastic Budget SVM 算法

支持向量控制包含两个过程。首先，一次添加一个支持向量，并使用传统的 SMO 更新步骤计算其系数。其次，找到违反条件最严重的支持向量对，并重新计算它们的系数。若一个或两个系数消失，则移除相关的支持向量。此外，有研究通过在 SVM 公式中添加 L1 范数正则化项来控制解的稀疏性。

在许多场景中，精确控制支持向量的数量至关重要。例如，在大规模问题中，限制支持向量的数量可以控制内核使用的内存量，还能加快训练过程，使方法适用于处理大量数据和低计算资源的环境。在机器学习问题的探索阶段，控制支持向量数量也很重要，可计算验证误差的快速下界，有助于超参数优化或模型选择。一种解决方案是设置支持向量数量的上限（即预算），并找到近似解，但维持这个预算的机制并不简单，有时会导致性能大幅下降。

为解决上述问题，提出了 Elastic Budget SVM (EBSVM) 算法。该算法使用随机次梯度方法解决原始核 SVM 公式，并添加额外约束来限制支持向量的数量。具体来说，要求每个支持向量相关系数的大小高于一个阈值，该阈值在训练过程中动态优化，以最小化当前支持向量数量与所需预算之间的差异，且该方法除允许的预算外，不需要额外参数。

EBSVM 算法的核心基于覆盖率的概念。覆盖率指支持向量对其邻居的有效影响，支持向量的影响区域越大，建模或覆盖所有数据所需的支持向量数量就越少。在准凹核函数中，覆盖率由参数 γ 控制，也可通过控制解系数 α 的大小来实现相同效果。系数大小与覆盖率的关系可在核函数的水平集中直观呈现，系数越大，覆盖率越大，因此可将系数大小作为启发式方法对支持向量的重要性进行排序。