【七】最优间隔分类器问题

本文深入探讨最优间隔分类器,解释了如何从原始优化问题转换为对偶问题。通过拉格朗日对偶和KKT条件,阐述了在支持向量机(SVM)中找到最优解的过程,强调了支持向量的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最优间隔分类器 the Optimal Margin Classifier

在上一讲内容中,我们介绍了函数间隔和几何间隔,我们也对比了这两种间隔的差异。我们希望可以得到更小的几何间隔。一个直观的优化方程是


上述方程中γ即为几何间隔,注意到我们限定了||ω||=1,这表明几何间隔和函数间隔是相同的。但这一优化问题很难求解,因为它是非凸的,我们不能利用已有的优化程序进行求解。所以我们将优化问题转化为另一种方程,如下


此时我们将对||ω||的限制移入目标方程中,这是我们的目标方程实际上就是几何间隔,除以||ω||起到了归一化的作用。此时我们已经可以使用现成的程序求解,但这一优化问题包含了两个参数,γ和ω。显然参数越少求解越方便,我们希望有一种方法可以减少参数。由于我们几何间隔是我们希望得到的最小间隔,因此我们可以令其为1,显然我们也可以给出其他自己喜欢的定义,只需要预先说明即可。此时我们得到第三种公式(在几何间隔为1的条件下)


注意到我们从求目标函数的最大值转为求最小值,这是因为在原方程中ω位于分母的位置;同时我们求的值为1/2||ω||^2,这与||ω||的增减性相同,使用平方项是为了方便求导。此时的方程已经可以通过任意一种求解优化问题的算法解出,如二次规划算法。这一优化为题的解成为最优间隔分类器。


拉格朗日对偶 Lagrange Duality

假如我们要求解如下优化问题(注意到此时约束条件均为等式)

则我们可定义拉格朗日方程为

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值