【有约束优化】拉格朗日法

第一部分：等式约束下的拉格朗日乘数法（Lagrange Multiplier Method）

1. 问题设定

考虑如下的约束优化问题：
$$\begin{array}{ll}\text{最小化/最大化}& f(\mathbf{x})\\ \text{受限于}& g_i(\mathbf{x})=0,i=1,\dots ,m\end{array}$$
其中，$\mathbf{x}=(x_1,x_2,\dots ,x_n)\in {\mathbb{R}}^n$，目标函数 $f:{\mathbb{R}}^n\to \mathbb{R}$，约束函数 $g_i:{\mathbb{R}}^n\to \mathbb{R}$ 均为连续可微的。

2. 几何直观（以二维为例）

想象在 ${\mathbb{R}}^2$ 平面上，我们要最小化 $f(x,y)$，同时满足约束 $g(x,y)=c$（或 $g(x,y)-c=0$）。

• $f(x,y)$ 的等高线（Level Sets）是 $f(x,y)=k$ 的曲线。
• $g(x,y)=0$ 是一条可行集曲线。

当可行点 ${\mathbf{x}}^{\ast }$ 达到最优时，目标函数 $f$ 的等高线必须与约束函数 $g$ 的可行集曲线在 ${\mathbf{x}}^{\ast }$ 处相切。

为什么是相切？

• 如果不相切，目标函数的等高线会穿过可行集。这意味着我们总可以在可行集上沿着一个方向移动，走到一个更高（或更低）的等高线上，从而找到一个更好的解。
• 只有当相切时，在 ${\mathbf{x}}^{\ast }$ 附近的任何微小移动，都会导致目标函数值 $f$ 增加（或减少），而同时仍然满足约束 $g=0$。

3. 梯度与数学表达

在切点 ${\mathbf{x}}^{\ast }$ 处：

• 梯度 $\nabla f({\mathbf{x}}^{\ast })$ 垂直于 $f$ 的等高线。
• 梯度 $\nabla g({\mathbf{x}}^{\ast })$ 垂直于 $g=0$ 的可行集曲线。

由于在相切时，两者具有相同的切线方向，因此它们的法线方向（即它们的梯度）必须平行。

这种平行关系可以表示为：
$$\nabla f({\mathbf{x}}^{\ast })=\lambda \nabla g({\mathbf{x}}^{\ast })$$
其中 $\lambda \in \mathbb{R}$ 是一个标量，被称为拉格朗日乘数。

4. 拉格朗日函数（Lagrangian Function）

我们将约束条件合并到目标函数中，构造拉格朗日函数 $\mathcal{L}(\mathbf{x},\lambda )$：
$$\mathcal{L}(\mathbf{x},\lambda )=f(\mathbf{x})-\sum _{i=1}^m{\lambda }_i{g}_i(\mathbf{x})$$

注意： 这里的 ${\lambda }_i$ 是对应于第 $i$ 个约束 $g_i(\mathbf{x})=0$ 的拉格朗日乘数。

5. 一阶最优性条件 (First-Order Necessary Conditions)

根据微积分的知识，函数在极值点处的梯度必须为零。我们对 $\mathcal{L}$ 的所有变量（$\mathbf{x}$ 和 $\lambda$）求偏导，并令其为零，得到一个方程组：

1. 关于 $\mathbf{x}$ 的偏导 (Stationarity)：
   $${\nabla }_{\mathbf{x}}\mathcal{L}({\mathbf{x}}^{\ast },{\lambda }^{\ast })=\nabla f({\mathbf{x}}^{\ast })-\sum _{i=1}^m{\lambda }_i^{\ast }\nabla g_i({\mathbf{x}}^{\ast })=0$$
   这正是梯度的平行条件（推广到多个约束的情况）。

2. 关于 $\lambda$ 的偏导 (Primal Feasibility)：
   $${\nabla }_{\lambda }\mathcal{L}({\mathbf{x}}^{\ast },{\lambda }^{\ast })=-\mathbf{g}({\mathbf{x}}^{\ast })=0\Rightarrow g_i({\mathbf{x}}^{\ast })=0,i=1,\dots ,m$$
   这确保了最优解 ${\mathbf{x}}^{\ast }$ 满足原始的等式约束。

---

第二部分：不等式约束与 KKT 条件

当约束中包含不等式时，情况变得更加复杂，我们需要引入更强大的工具：Karush-Kuhn-Tucker (KKT) 条件。KKT 条件是拉格朗日乘数法的推广，适用于非线性规划问题。

1. 问题设定

考虑一般的非线性规划问题：
$$\begin{array}{ll}\text{最小化}& f(\mathbf{x})\\ \text{受限于}& g_i(\mathbf{x})\le 0,i=1,\dots ,m(\text{不等式约束})\\ & h_j(\mathbf{x})=0,j=1,\dots ,l(\text{等式约束})\end{array}$$

2. 拉格朗日函数

同样地，构造拉格朗日函数 $\mathcal{L}(\mathbf{x},\lambda ,\mu )$：
$$\mathcal{L}(\mathbf{x},\lambda ,\mu )=f(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{g}_i(\mathbf{x})+\sum _{j=1}^l{\mu }_j{h}_j(\mathbf{x})$$

• ${\lambda }_i$ 对应不等式约束 $g_i(\mathbf{x})\le 0$。
• ${\mu }_j$ 对应等式约束 $h_j(\mathbf{x})=0$。

3. KKT 条件 (Necessary Conditions)

如果 ${\mathbf{x}}^{\ast }$ 是上述问题的一个局部最优解，并且满足约束规范 (Constraint Qualification, CQ)（例如，LICQ - 线性独立约束规范），那么存在乘数 ${\lambda }^{\ast }\ge 0$ 和 ${\mu }^{\ast }$，使得以下 KKT 条件成立：

KKT-1: 梯度驻点条件 (Stationarity)

目标函数梯度与所有约束梯度的线性组合为零：
$${\nabla }_{\mathbf{x}}\mathcal{L}({\mathbf{x}}^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=\nabla f({\mathbf{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }\nabla g_i({\mathbf{x}}^{\ast })+\sum _{j=1}^l{\mu }_j^{\ast }\nabla h_j({\mathbf{x}}^{\ast })=0$$

KKT-2: 原始可行性 (Primal Feasibility)

解必须满足所有的约束：
$$g_i({\mathbf{x}}^{\ast })\le 0,i=1,\dots ,m$$
$$h_j({\mathbf{x}}^{\ast })=0,j=1,\dots ,l$$

KKT-3: 对偶可行性 (Dual Feasibility)

对应于不等式约束的拉格朗日乘数必须是非负的：
$${\lambda }_i^{\ast }\ge 0,i=1,\dots ,m$$
(注意：等式约束乘数 ${\mu }_j^{\ast }$ 没有符号限制)

KKT-4: 互补松弛性 (Complementary Slackness)

这是 KKT 条件的核心，它定义了不等式约束的性质：
$${\lambda }_i^{\ast }{g}_i({\mathbf{x}}^{\ast })=0,i=1,\dots ,m$$

互补松弛性的深入理解：
对于每个不等式约束 $g_i(\mathbf{x})\le 0$，只有两种情况：

1. 约束是非激活的 (Inactive): $g_i({\mathbf{x}}^{\ast })<0$。最优解在可行域的内部。此时，为了使 ${\lambda }_i^{\ast }{g}_i({\mathbf{x}}^{\ast })=0$ 成立，必须有 ${\lambda }_i^{\ast }=0$。这意味着非激活的约束对最优解没有影响，其梯度不参与梯度平衡。
2. 约束是激活的 (Active): $g_i({\mathbf{x}}^{\ast })=0$。最优解落在可行域的边界上。此时 ${\lambda }_i^{\ast }$ 可以大于零 (${\lambda }_i^{\ast }>0$)，意味着这个激活的约束是必要的，它参与了梯度平衡。

4. 充分条件 (Sufficient Conditions)

KKT 条件只是局部最优的必要条件。若要保证它也是充分条件，我们需要引入凸性 (Convexity) 的概念：

• 如果目标函数 $f(\mathbf{x})$ 是凸函数。
• 如果所有的不等式约束函数 $g_i(\mathbf{x})$ 是凸函数。
• 如果所有的等式约束函数 $h_j(\mathbf{x})$ 是仿射函数（即 $h_j(\mathbf{x})={\mathbf{a}}_j^T\mathbf{x}-b_j$）。

在一个凸规划问题中，任何满足 KKT 条件的点 ${\mathbf{x}}^{\ast }$ 都是全局最优解。 这是 KKT 条件在实际应用中最重要的价值。

---

第三部分：拉格朗日乘数的经济学解释（影子价格）

拉格朗日乘数 ${\lambda }_i^{\ast }$ 或 ${\mu }_j^{\ast }$ 在经济学中被称为影子价格 (Shadow Price) 或边际价值 (Marginal Value)。

• 定义： 拉格朗日乘数 ${\lambda }_i^{\ast }$ 的值表示，如果将第 $i$ 个约束条件放宽（或收紧）一个单位，最优目标函数值 $f({\mathbf{x}}^{\ast })$ 将会发生的近似变化率。

具体来说，如果我们将不等式约束 $g_i(\mathbf{x})\le 0$ 略微改变为 $g_i(\mathbf{x})\le ϵ$，则新的最优目标函数值 $f({\mathbf{x}}^{\ast }(ϵ))$ 近似满足：
$$\frac{\partial f({\mathbf{x}}^{\ast }(ϵ))}{\partial ϵ}\approx {\lambda }_i^{\ast }$$

因此，${\lambda }_i^{\ast }$ 量化了约束资源的稀缺性：

• 如果 ${\lambda }_i^{\ast }>0$，表示该约束是激活的（资源稀缺），放宽约束会使最优目标函数值降低（对最小化问题而言，是一个更好的解）。
• 如果 ${\lambda }_i^{\ast }=0$，表示该约束是非激活的（资源充足），放宽或收紧该约束对最优目标函数值没有影响。