理解拉格朗日乘子法的一种角度

   

目录

梯度和等高域正交

某点在各个约束条件的梯度是该点的约束域邻域的正交域的一组基，几乎处处成立

极值点的必要条件为约束域邻域和目标梯度正交

---

   

        本文旨在以一种相对直观的角度去理解拉格朗日乘子法，在推导得到拉格朗日乘子法最终形式之前，需要先理解以下三个推论：

1. 梯度和等高域邻域正交（或者说某点梯度和该点在等高域相切的超平面正交）；

2. 极值点在各个约束条件的梯度是约束域邻域的正交域的一组基；

3. 极值点的必要条件为约束域邻域和目标梯度正交。

        其中，邻域可以认为是一个线性空间，或者可以将这里的邻域替换成相切超平面，等高域是目标函数等于某一个值时自变量所在的区域，所以在等高域中的所有点对应的函数值都是相等的；约束域就是由多个等式约束条件共同约束下自变量形成的区域。

梯度和等高域正交

        假设某点P对应的目标函数的梯度为G，根据梯度的定义可知，在P点所在的等高域邻域的点的函数值，相对于P的函数值，有如下关系：

所以可知在P等高域邻域，有，即梯度和等高域邻域正交，等价于，P点梯度和P点所在的等高域切超平面正交。

某点在各个约束条件的梯度是该点的约束域邻域的正交域的一组基，几乎处处成立

        某点在各个约束条件的梯度线性相关，这样的点应该是有限个，不然必然存在约束条件本身就是线性相关的。

        因为某点约束域邻域是该点在各个约束条件对应邻域的子集，而且某点在约束条件的梯度又是和其邻域正交的，因此，显然可知，该点在各个约束条件对应的梯度构成的线性空间和其约束域邻域正交。

        假设最初共有N个自由变量，现加入K个约束条件，那么由这K个约束条件构成的约束域上，某点的邻域的维度是N-K（我们无法找到多于N-K个向量满足约束条件的切面方程，同时线性无关）；同时，因为由该点在各个约束条件上的梯度构成的空间维度为K，因此：

其中C为约束域邻域，O为梯度构成的线性空间，U为N维线性空间。

极值点的必要条件为约束域邻域和目标梯度正交

        假设P为极小值点，那么一个必要条件就是邻域不能穿过等高域上的P点，不然因为约束域和目标函数时连续的，约束域的P点邻域必然会存在更小的值，因此，P点时极小值点的一个必要条件就是约束域和等高域必然相切与P点。

        根据第一个推论，P点的目标函数的梯度是和P点等高邻域正交的，所以目标梯度也跟约束域P点邻域正交。那么，由第二点推论可知，目标梯度必然在空间O中，又因为各个约束条件的梯度是O的一组基，所以有：

其中表示极值点目标函数的梯度，表示极值点在K个约束条件对应的梯度。

        实际上，这时已经很明显，上述的式子就是拉格朗日乘子法的求导之后的式子，我们可以根据上式以及K个约束条件，求出极值点。