闲扯数学规划问题(1)-极大值与等高线_函数的等高线-优快云博客

本文链接：https://blog.youkuaiyun.com/quicmous/article/details/52527507

最优化问题

　　数学规划问题，或着说最优化问题，一般可写成下面的形式：

m a x s . t . f (x) g (x) = c (1)

$\begin{array}{} max & f(x) \tag{1}\\ s.t. & g(x) = c \\ \end{array}$

先看看二维的问题

　　为了简单起见，我们考虑二维情况，假设 $x=(x_1,x_2)$ ，则最优化问题变成如下形式：

m a x s . t . f (x 1, x 2) g (x 1, x 2) = c (2)

$\begin{array}{} max & f(x_1,x_2) \tag{2}\\ s.t. & g(x_1,x_2) = c \\ \end{array}$
这里写图片描述

　　几何意义非常明显，要求在曲线 $g(x_1,x_2) = c$ 上找一点，使得函数 $f(x_1,x_2)$ 取得最大值。因为 $f(x_1,x_2)$ 是一个曲面，形象一点说，问题就是在山上寻找一条山路的最高点。

聊一聊等高线

　　求解最优规划问题的关键在于曲面的等高线。我们停下脚步，看看等高线有趣的性质。对于曲面 $f(x_1,x_2)$ 来说，其等高线可以表示成下面的形式，

f (x 1, x 2) = c (3)

$f(x_1,x_2)=c \tag{3}$
　　两边进行微分，得到，

\partial f \partial x 1 d x 1 + \partial f \partial x 2 d x 2 = 0 (4)

$\frac{\partial f}{\partial x_1}dx_1+\frac{\partial f}{\partial x_2}dx_2=0 \tag{4}$
　　可以看出，

dx1,dx2 $dx_1,dx_2$ 之间是有关系的。实际上，微分

dx=(dx1,dx2) $dx=(dx_1,dx_2)$ 与曲线

f(x1,x2)=c $f(x_1,x_2)=c$ 切线方向一致。如果觉得不好理解的话，可以吧

x1,x2 $x_1,x_2$ 换成

x,y $x,y$ ，问题就变成一元函数求导，我们知道

dy/dx $dy/dx$ 表示曲线的切线斜率，当然

(dx,dy) $(dx,dy)$ 就与曲线的切线方向相同。于是，我们得到曲面等高线的切线向量，

d x = (d x 1, d x 2) (5)

$dx=(dx_1,dx_2) \tag{5}$
　　我们知道，曲面

f(x1,x2) $f(x_1,x_2)$ 的梯度可表示为，

\nabla f (x 1, x 2) = (\partial f \partial x 1, \partial f \partial x 2) (6)

$\nabla f(x_1,x_2)=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2}) \tag{6}$
　　于是(4)式可以表示为，

\nabla f \cdot d x = 0 (7)

$\nabla f \cdot dx = 0\tag{7}$
　　可以看出，曲面上任意一点，其等高线的切线方向与其梯度方向相互垂直。

约束条件本质上是曲面的等高线

　　约束条件 $g(x_1,x_2) = c$ ，实际上就是曲面 $g(x_1,x_2)$ 的一条等高线。根据前面的结论，它的切线方向与梯度方向垂直。

目标函数的等高线

　　二元函数的最优规划问题，和寻找山间小路上的最高点的思路是一样。到达山间小路最高点位置后，无论沿山间小路哪个方向走，都是下坡，都会走向较低的等高线，因此，在小路的最高点位置，小路必须与山坡的等高线相切。
　　同样，我们沿着曲线 $g(x_1,x_2) = c$ 到达最曲面 $f(x_1,x_2)$ 最高点，这条小路一定与曲面 $f(x_1,x_2)$ 在此位置的等高线相切，也就是曲线 $g(x_1,x_2) = c$ 与曲线 $f(x_1,x_2)=c'$ 在最大值位置相切。或者从梯度的角度来看，曲面 $f(x_1,x_2),g(x_1,x_2)$ 在最大值位置梯度方向是相同的。
　　换句话讲，如果规划问题在 $(x_1,x_2)$ 处取得最大值，一定存在常数 $\lambda$ 使得，