稀疏支持向量机的硬间隔损失与牛顿增强拉格朗日方法

稀疏支持向量机的硬间隔损失：降维空间中的牛顿-增强拉格朗日方法

摘要

硬间隔损失函数因其泛化能力从一开始就是支持向量机研究的核心。另一方面，基数约束被广泛用于特征选择，从而产生稀疏解。本文研究了结合硬间隔损失和基数约束的稀疏支持向量机模型，该模型融合了两者的优点，成为最具挑战性的求解模型之一。

我们将该问题建模为带基数约束的复合优化问题。我们通过伪KKT点来刻画其局部极小化点，这很好地捕捉了问题的组合结构，并研究了具有简洁表示的更尖锐P稳定点以用于算法设计。我们进一步开发了一种不精确近端增强拉格朗日方法（iPAL）。来自P稳定性的不精确度测量的不同部分以不同尺度进行控制，使得生成的序列全局收敛且具有线性收敛速率。

为了使iPAL实际高效，我们提出了在子空间中使用梯度-牛顿法来求解iPAL子问题。这是通过借助硬间隔损失的近端算子和基数约束的投影来检测活跃样本和特征实现的。在模拟和真实数据集上的大量数值结果表明，与几种领先求解器相比，所提出的方法速度快，产生高精度的稀疏解，并能有效减少活跃样本和特征。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）