原来拉格朗日乘子法这么简单！

在日常生活中，我们经常会遇见带有条件约束的优化问题，如经典的“采购食品”问题等。遇到此类问题时，老师们往往告诉我们使用拉格朗日乘子法解决！它的应用十分广泛，如支持向量机，线性规划等。那么，拉格朗日乘子法到底是什么？它背后的数学原理又是怎样的？本篇博客将为您一一解答。注意，本篇博客只是简单的对拉格朗日乘子法进行介绍和数学推导，并非严格的数学证明！

拉格朗日乘子法

前面提到，我们往往会遇见带有条件约束的优化问题。那么，我们不妨先将其用标准的数学式表达，

$$\begin{array}{rl}& max{f}_0(\mathbf{x})\\ & \begin{array}{rlr}s.t.& f_i(\mathbf{x})\le 0,& i=1,2,\dots ,m\\ & h_i(\mathbf{x})=0,& i=1,2,\dots ,p\end{array}\end{array}$$

这里，变量$\mathbf{x}\in {\mathbb{R}}^{\mathbf{n}},\mathbf{D}=\bigcap _{\mathbf{i}=0}^{\mathbf{m}}\mathbf{d}\mathbf{o}\mathbf{m}{\mathbf{f}}_{\mathbf{i}}\cap \bigcap _{\mathbf{i}=1}^{\mathbf{p}}\mathbf{d}\mathbf{o}\mathbf{m}{\mathbf{p}}_{\mathbf{i}}$表示域, $p^{\ast }$表示最优值，且原始的优化函数可以是非凸的。上式约束被称为为原始约束（primal constraints），并且我们不难将上式转化为无约束的优化问题，

$$L(\mathbf{x},\lambda ,\nu )=f_0(\mathbf{x})-\sum _{i=1}^m{\lambda }_i{f}_i(\mathbf{x})-\sum _{i=1}^p{\nu }_i{h}_i(\mathbf{x})$$

这里的${\lambda }_i$与${\nu }_i$都是拉格朗日乘子，分别对应于$f_i(x)\le 0$和$h_i(x)=0$。而上式也被称为拉格朗日函数。不难看出，对于所有的可行解，当$\lambda \le 0$时，拉格朗日函数是原始优化问题的下界。因为对于所有的可行解，当$\lambda \le 0$时，${\sum }_{i=1}^m{\lambda }_i{f}_i(x)\ge 0$。

因此，我们不妨考虑一下拉格朗日函数的下界，即拉格朗日函数对偶函数，定义如下，

$$\begin{array}{rl}g(\lambda ,\nu )& =\underset{\mathbf{x}\in D}{\inf }L(\mathbf{x},\lambda ,\nu )\\ & =f_0(\mathbf{x})-\sum _{i=1}^m{\lambda }_i{f}_i(\mathbf{x})-\sum _{i=1}^p{\nu }_i{h}_i(\mathbf{x})\end{array}$$

在这里，可能有读者产生疑惑了——为什么要考虑拉格朗日函数的下界啊？不是求解原始优化问题的就行了吗？它们之间有什么联系啊？难道是下面的等式？

$$f_0(\mathbf{x})\ge L(\mathbf{x},\lambda ,\nu )\ge g(\lambda ,\nu )\to g(\lambda ,\nu )\le p^{\ast }$$

没错，正式在下。不对，正是上面的不等式。因此，根据上述不等式，我们可以通过求解如下拉格朗日函数对偶问题的最优值$d^{\ast }$来求解原始优化问题的最优值$p^{\ast }$，

$$\begin{array}{rl}& maxg(\lambda ,\nu )\\ & \begin{array}{r}s.t.\lambda \le 0\end{array}\end{array}$$

这里，我们称对偶问题的条件约束为**对偶约束（dual constraints）**更重要的是，即使原始优化函数是非凸的，拉格朗日对偶函数也始终是凸函数，并且对偶问题也始终是凸优化问题。此外，我们称

• 弱对偶性（weak duality）：$d^{\ast }\le p^{\ast }$

  • 对于非凸问题和凸问题总是成立；
  • 可以用来寻找困难问题的平凡下界。

• 强对偶性（strong duality）：$d^{\ast }=p^{\ast }$

  • 通常不会成立；
  • 当问题是凸问题时，通常成立。

假设具有强对偶性，即$d^{\ast }=p^{\ast }$，则有

$$\begin{array}{rl}{f}_0({\mathbf{x}}^{\ast })=g({\lambda }^{\ast },{\nu }^{\ast })& =f_0(\mathbf{x})-\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(\mathbf{x})-\sum _{i=1}^p{\nu }_i^{\ast }{h}_i(\mathbf{x})\\ & \le f_0({\mathbf{x}}^{\ast })-\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i^{}({\mathbf{x}}^{\ast })-\sum _{i=1}^p{\nu }_i^{\ast }{h}_i({\mathbf{x}}^{\ast })\\ & \le f_0({\mathbf{x}}^{\ast })\end{array}$$

于是，有

• ${\mathbf{x}}^{\ast }$使得$L({\mathbf{x}}^{\ast },\lambda ,\nu )$值最小;
• ${\lambda }_i^{\ast }{f}_i({\mathbf{x}}^{\ast })=0,i=1,2,\dots ,m$

$$\begin{array}{rl}{\lambda }_i^{\ast }<0& \to f_i({\mathbf{x}}^{\ast })=0\\ f_i({\mathbf{x}}^{\ast })=0& \to {\lambda }_i^{\ast }<0\end{array}$$

上式还有另一个专有名词——互补松弛性（complementary slackness）。而如果我们将前面的条件约束集合在一起，就是著名的KKT条件（Karush-Kuhn-Tucher conditions），

• 原始约束（primal constraints）：$f_i(\mathbf{x})\le 0,i=1,\dots ,m,h_i(\mathbf{x})=0,i=1,\dots ,p;$
• 对偶约束（dual constraints）：$\lambda \le 0;$
• 互补松弛性（complementary slackness）：${\lambda }_i{f}_i(\mathbf{x})=0,i=1,\dots ,m;$
• 拉格朗日函数对于$\mathbf{x}$的梯度满足：
  $$\nabla f_0(\mathbf{x})+\sum _{i=1}^m{\lambda }_i\nabla f_i(\mathbf{x})+\sum _{i=1}^p{\nu }_i\nabla h_i(\mathbf{x})=0$$

可以证明，当强对偶性成立，$\mathbf{x},\lambda ,\nu$最优时，它们一定满足KKT条件。因此，只要利用这一性质，我们便可以设计算法解决带有条件约束的优化问题，如内敛法等。

参考文献

卜东波，《Lec9.pdf》

常虹，《Support Vector Machines》