[支持向量机SVM] 西瓜书+个人理解【3.从有约束最优化到无约束最优化】

最新推荐文章于 2022-08-08 19:13:42 发布

原创最新推荐文章于 2022-08-08 19:13:42 发布 · 495 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#有约束最优化 #svm #最优化 #西瓜书 #机器学习

机器学习专栏收录该内容

6 篇文章

订阅专栏

本文深入探讨了有约束优化问题的拉格朗日乘数法，将其转化为无约束优化问题，便于求解。通过构造广义的拉格朗日函数，详细解释了在等式和不等式约束下最小化目标函数的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对于一般性的有约束的优化问题，我们可以写出其一般模式：

此式代表在m个等式约束和n个不等式约束下对f(x)最小化的问题。

下面我们通过构造广义的拉格朗日函数对其进行分析：
我们构造这样的拉格朗日函数：

其中

我们最大化L(x,α,β)有:

我们来分析一下上面这个式子：

1. 对于原始的优化问题，在可行解区域内，有 $\forall i,h_{i}(x)=0$ 并且 $\forall j,\beta _{j}\geqslant 0,g_{j}(x)\leq 0$ ，所以： $max_{\alpha,\beta,\beta\geq 0}[\sum _{i=1}^{m}\alpha_{i}h_{i}(x)+\sum_{j=1}^{n}\beta_{j}g_{j}(x)] = 0 %u90A3%u4E48%uFF0C$ 那么， $max_{\alpha,\beta,\beta\geq 0} L(x,\alpha,\beta) = f(x)$

2.在可行解区域外。那么两种约束共m+n个，至少有一个没有满足。若是 $\forall i,h_{i}(x)=0$ 有没有满足的，那么 $h_{i}(x)\neq 0$ ，我们就可以调节它所对应的参数 $\alpha_{i}$ ,来使得 $max_{\alpha,\beta,\beta\geq 0} L(x,\alpha,\beta) \rightarrow +\infty$ ；若是 $\forall j,\beta _{j}\geqslant 0,g_{j}(x)\leq 0$ 没有满足，我们同样可以调节 $\beta$ ,使得 $max_{\alpha,\beta,\beta\geq 0} L(x,\alpha,\beta) \rightarrow +\infty$ 。