吴恩达老师机器学习记录----SVM第三步：硬间隔和软间隔问题的求解

最新推荐文章于 2025-06-20 18:28:04 发布

树荫下的野草

最新推荐文章于 2025-06-20 18:28:04 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/wang2011210219/article/details/81236448

本文详细介绍了SVM中硬间隔和软间隔的概念及其求解过程。通过拉格朗日乘子法，将原始问题转化为求解优化问题，解析了硬间隔中最大化间隔的原理，随后引入软间隔允许一部分样本点偏离超平面，增加了惩罚项以平衡误分类。最终，展示了软硬间隔问题如何转化为SMO算法的输入，为理解和支持向量机的优化提供了清晰的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

硬间隔

首先描述硬间隔问题，我们记为式(1)：

$$\min_{w,b} \frac{1}{2}||w||^2 \tag{1}$$

$$st. \quad y^{(i)}(w^Tx^{(i)}+b) \ge 1$$

构造拉格朗日乘子：

$$L(w,b,\alpha) = \frac{1}{2}||w||^2 + \sum_{i=1}^m \alpha_i [1-y^{(i)}(w^Tx^{(i)} + b)] \tag{2}$$

依据拉格朗日乘子法，我们有问题的转化关系：

$$primal \quad problem \rightarrow \min_{w,b} \max_{\alpha} L(w,b,\alpha) \rightarrow \max_{\alpha} \min_{w,b}L(w,b,\alpha)$$

先求解内层的极小值部分：$\min_{w,b} L(w,b,\alpha)$，即$\frac{\partial}{\partial w} L(w,b,\alpha) =0$，$\frac{\partial}{\partial b} L(w,b,\alpha) =0 $，将这两个式子解出来得：

$$\begin{align} &\frac{\partial}{\partial w} L(w,b,\alpha) = w + \sum_{i=1}^m \alpha_i y^{(i)}x^{(i)} = 0 \Longrightarrow w=\sum_{i=1}^m \alpha_iy^{(i)}x^{(i)} \tag{3} \\ &\frac{\partial}{\partial b} L(w,b,\alpha) = \sum_{i=1}^m \alpha_iy^{(i)} = 0 \Longrightarrow \sum_{i=1}^m \alpha_i y^{(i)} = 0 \tag{4}\end{align}$$

将关于$w, b$的解代入拉格朗日乘子中，并进行化简：

$$ \begin{align