【机器学习】拉格朗日乘子法求解最优化问题

目录

引言：

一个约束条件例子：

多个约束条件：

---

引言：

拉格朗日乘子法是解决带有约束条件的优化问题的一种常用方法，也适用于不等式约束条件。它的基本思想就是用过拉格朗日乘子来把含有m个变量和n个约束条件的约束优化问题转换成含有（m+n）个变量的无约束优化问题。

一个约束条件例子：

以一个一元函数为例，假设有一个约束条件g(x)≤0，原优化问题可以描述为：

函数：min f(x)

约束条件：s.t. g(x)≤0

引入拉格朗日乘子λ，整合得到拉格朗日函数L(x,λ)：

L(x,λ) = f(x) + λg(x)

其中，λ为拉格朗日乘子。

为求解原问题，我们要分别对目标函数和约束条件分别求导得到：

∂L/∂x = ∂f/∂x + λ∂g/∂x = 0

∂L/∂λ = g(x) ≤ 0

由于g(x)≤0，故λ