[笔记] 最优化方法 - 最优性条件_证明满d满足,是可行下降方向-优快云博客

本文链接：https://blog.youkuaiyun.com/LiJiancheng0614/article/details/50132479

本文介绍了约束极值问题的最优性条件，包括Fritz John条件、Karush-Kuhn-Tucker(KKT)条件、Lagrange函数及其在不同约束下的应用。探讨了一阶和二阶最优性条件，并通过具体实例进行验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

约束极值问题的最优性条件

约束级值问题

min s.t. f (x), x \in R n g i (x) \geq 0, i = 1, \dots, m, h i (x) = 0, j = 1, \dots, l .

$\begin{array}{cl} \min & f(x), \; x \in \mathbb{R}^n \\ \text{s.t.} & g_i(x) \ge 0, i = 1, \cdots, m, \\ & h_i(x) = 0, j = 1, \cdots, l. \end{array}$
其中

gi(x)≥0 $g_i(x) \ge 0$ 称为不等式约束，

hj(x)=0 $h_j(x) = 0$ 称为等式约束。
集合

S={x∣gi(x)≥0,i=1,⋯,m;hj(x)=0,j=1,⋯,l} $S = \{x \mid g_i(x) \ge 0, i = 1, \cdots, m; \; h_j(x) = 0, j = 1, \cdots, l\}$ 称为可行集或可行域。

可行方向与下降方向

下降方向

若 $\exists \delta \gt 0$ , $\forall \lambda \in (0, \delta)$ , $f(\overline{x} + \lambda d) \lt f(\overline{x})$ ，则称 $d$ 为 $f(x)$ 在 $\overline{x}$ 处的下降方向。

若 $f(x)$ 可微， $\nabla f(\overline{x})d \lt 0$ ，则 $d$ 为 $f(x)$ 在 $\overline{x}$ 处的下降方向。
可行方向

设 $S \subset \mathbb{R}^n$ ， $\overline{x} \in \text{cl} \, S$ ， $d \neq 0$ ，若 $\exists \delta \gt 0$ , $\forall \lambda \in (0, \delta)$ , $\overline{x} + \lambda d \in S$ ，则称 $d$ 为 $S$ 在 $\overline{x}$ 处的可行方向。

$D = \{d \mid d \neq 0, x \in \text{cl} S, \exists \delta \gt 0, \forall \lambda \in (0, \delta), \overline{x} + \lambda d \in S \}$ 称为在 $\overline{x}$ 处的可行方向锥。

不等式约束问题的一阶最优性条件

min s.t. f (x), x \in R n g i (x) \geq 0, i = 1, \dots, m .

$\begin{array}{cl} \min & f(x), \; x \in \mathbb{R}^n \\ \text{s.t.} & g_i(x) \ge 0, i = 1, \cdots, m. \end{array}$

Fritz John条件

设 $\overline{x} \in S$ , $I = \{ i \mid g_i(\overline{x}) = 0 \}$ , $f$ , $g_i (i \in I)$ 在 $\overline{x}$ 处可微， $g_i (i \in I)$ 在 $\overline{x}$ 处连续。
若 $\overline{x}$ 是局部最优解，则存在不全为 $0$ 的非负数 $w_0, w_i (i \in I)$ ，使得

$w 0 \nabla f (x ¯) - \sum i \in I w i \nabla g i (x ¯) = 0$ $w_0 \nabla f(\overline{x}) - \sum _{i \in I} w_i \nabla g_i(\overline{x}) = 0$
$\overline{x}$ 称为Fritz John点。
Karush-Kuhn-Tucker(KKT)条件

设 $\overline{x} \in S$ , $I = \{ i \mid g_i(\overline{x}) = 0 \}$ , $f$ , $g_i (i \in I)$ 在 $\overline{x}$ 处可微， $g_i (i \in I)$ 在 $\overline{x}$ 处连续， $\{ \nabla g_i(\overline{x}) \mid i \in I \}$ 线性无关。
若 $\overline{x}$ 是局部最优解，则存在非负数 $w_i (i \in I)$ ，使得

$\nabla f (x ¯) - \sum i \in I w i \nabla g i (x ¯) = 0$ $\nabla f(\overline{x}) - \sum _{i \in I} w_i \nabla g_i(\overline{x}) = 0$
$\overline{x}$ 称为KKT点。

若 $g_i (i \notin I)$ 在 $\overline{x}$ 可微，则KKT条件等价

$⎧ ⎩ ⎨ \nabla f (x ¯) - \sum i \in I w i \nabla g i (x ¯) = 0, w i g i (x ¯) = 0, i = 1, \dots, m, w i \geq 0, i = 1, \dots, m .$ $\begin{cases} \nabla f(\overline{x}) - \sum _{i \in I} w_i \nabla g_i(\overline{x}) = 0, \\ w_i g_i(\overline{x}) = 0, i = 1, \cdots, m, \\ w_i \ge 0, i = 1, \cdots, m. \end{cases}$
$w_i g_i(\overline{x}) = 0$ 称为互补松弛条件。

一般约束问题的一阶最优性条件

min s.t. f (x), x \in R n g i (x) \geq 0, i = 1, \dots, m, h i (x) = 0, j = 1, \dots, l .

$\begin{array}{cl} \min & f(x), \; x \in \mathbb{R}^n \\ \text{s.t.} & g_i(x) \ge 0, i = 1, \cdots, m, \\ & h_i(x) = 0, j = 1, \cdots, l. \end{array}$

Fritz John条件

设 $\overline{x} \in S$ , $I = \{ i \mid g_i(\overline{x}) = 0 \}$ , $f$ , $g_i (i \in I)$ 在 $\overline{x}$ 处可微， $g_i (i \in I)$ 在 $\overline{x}$ 处连续， $h_j (j = 1, \cdots, l)$ 在点 $\overline{x}$ 连续可微。
若 $\overline{x}$ 是局部最优解，则存在不全为 $0$ 的非负数 $w_0, w_i (i \in I)$ 和 $v_j (j = 1, \cdots, l)$ ，使得

$w 0 \nabla f (x ¯) - \sum i \in I w i \nabla g i (x ¯) - \sum j = 1 l v j \nabla h j (x ¯) = 0$ $w_0 \nabla f(\overline{x}) - \sum _{i \in I} w_i \nabla g_i(\overline{x}) - \sum _{j = 1}^l v_j \nabla h_j(\overline{x}) = 0$
$\overline{x}$ 称为Fritz John点。
Karush-Kuhn-Tucker(KKT)条件

设 $\overline{x} \in S$ , $I = \{ i \mid g_i(\overline{x}) = 0 \}$ , $f$ , $g_i (i \in I)$ 在 $\overline{x}$ 处可微， $g_i (i \in I)$ 在 $\overline{x}$ 处连续， $h_j (j = 1, \cdots, l)$ 在点 $\overline{x}$ 连续可微， $\{ \nabla g_i(\overline{x}), \nabla h_j(\overline{x}) \mid i \in I, j = 1, \cdots, l \}$ 线性无关。
若 $\overline{x}$ 是局部最优解，则存在非负数 $w_i (i \in I)$ 和 $v_j (j = 1, \cdots, l)$ ，使得

$\nabla f (x ¯) - \sum i \in I w i \nabla g i (x ¯) - \sum j = 1 l v j \nabla h j (x ¯) = 0$ $\nabla f(\overline{x}) - \sum _{i \in I} w_i \nabla g_i(\overline{x}) - \sum _{j = 1}^l v_j \nabla h_j(\overline{x}) = 0$
$\overline{x}$ 称为KKT点。

若 $g_i (i \notin I)$ 在 $\overline{x}$ 可微，则KKT条件等价

$⎧ ⎩ ⎨ ⎪ ⎪ \nabla f (x ¯) - \sum i \in I w i \nabla g i (x ¯) - \sum l j = 1 v j \nabla h j (x ¯) = 0, w i g i (x ¯) = 0, i = 1, \dots, m, w i \geq 0, i = 1, \dots, m .$ $\begin{cases} \nabla f(\overline{x}) - \sum _{i \in I} w_i \nabla g_i(\overline{x}) - \sum _{j = 1}^l v_j \nabla h_j(\overline{x}) = 0, \\ w_i g_i(\overline{x}) = 0, i = 1, \cdots, m, \\ w_i \ge 0, i = 1, \cdots, m. \end{cases}$
$w_i g_i(\overline{x}) = 0$ 称为互补松弛条件。
Lagrange函数

$L (x, w, v) = f (x) - \sum i = 1 m w i g i (x) - \sum j = 1 l v j h j (x)$ $L(x, w, v) = f(x) - \sum_{i = 1}^m w_i g_i(x) - \sum_{j = 1}^l v_j h_j(x)$
若 $\overline{x}$ 是局部最优解，则存在Lagrange乘子 $\overline{w} \ge 0$ 和 $\overline{v}$ ，使得
$\nabla x L (x ¯, w ¯ ¯ ¯, v ¯) = 0$ $\nabla _x L(\overline{x}, \overline{w}, \overline{v}) = 0$
一般情形的一阶必要条件（KKT必要条件）可表示为

$⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ \nabla x L (x, w, v) = 0 w i g i (x) = 0, g i (x) \geq 0, h j (x) = 0, w i \geq 0, i = 1, 2, \dots, m i = 1, 2, \dots, m j = 1, 2, \dots, l i = 1, 2, \dots, m$ $\begin{cases} \nabla _x L(x, w, v) = 0 \\ w_i g_i (x) = 0, & i = 1, 2, \cdots, m \\ g_i (x) \ge 0, & i = 1, 2, \cdots, m \\ h_j (x) = 0, & j = 1, 2, \cdots, l \\ w_i \ge 0, & i = 1, 2, \cdots, m \\ \end{cases}$
凸规划的充分条件

$f$ 是凸函数， $g_i (i = 1, \cdots, m)$ 是凹函数， $h_j (j = 1, \cdots, l)$ 是线性函数，可行域为 $S$ ， $\overline{x} \in S$ , $I = \{ i \mid g_i(\overline{x}) = 0 \}$ ，且在 $\overline{x}$ 处KKT必要条件成立，则 $\overline{x}$ 是全局最优解。

二阶条件

切锥

设非空集合 $S \in \mathbb{R}^n$ ，点 $\overline{x} \in \text{cl} S$ ，

$T = {d ∣ \exists x (k) \in S, x (k) \to x 及 λ k > 0, d = lim k \to \infty (x (k) - x ¯)}$ $T = \{ d \mid \exists x^{(k)} \in S, x^{(k)} \to x 及 \lambda _k \gt 0, d = \lim _{k \to \infty} (x^{(k)} - \overline{x}) \}$
$T$ 称为集合 $S$ 在点 $\overline{x}$ 的切锥（tangent cone）或序列
化可行方向锥（sequential feasible cone）。

设确定集合 $S$ 的所有约束函数在 $x \in S$ 处连续可微，则 $D(x, S) \subseteq SFD(x, S)$ ，其中 $D(x, S)$ 为 $x$ 点的可行方向锥， $SFD(x, S)$ 为 $x$ 点的切锥。
定义 $\overline{S} = \left\{ x \mid \begin{array}{cc} x \in \mathbb{R}^n & \\ g_i(x) = 0, & i \in I, \overline{w_i} \gt 0 \\ g_i(x) \ge 0, & i \in I, \overline{w_i} = 0 \\ h_i(x) = 0, & j = 1, \cdots, l \end{array} \right\}$
设 $\overline{S}$ 在点 $\overline{x}$ 的切锥为 $T$ 。
定义 $\overline{G} = \left\{ d \mid \begin{array}{cc} d \in \mathbb{R}^n & \\ \nabla g_i(\overline{x})d = 0, & i \in I, \overline{w_i} \gt 0 \\ \nabla g_i(\overline{x})d \ge 0, & i \in I, \overline{w_i} = 0 \\ \nabla h_i(\overline{x})d = 0, & j = 1, \cdots, l \end{array} \right\}$
则 $\overline{G} \supseteq \overline{T}$ 。
二阶必要条件

设 $\overline{x}$ 是局部最优解， $f$ , $g_i (i = 1, \cdots, m)$ 和 $h_j (j = 1, \cdots, l)$ 二次连续可微，并存在满足一般情形的一阶必要条件的乘子 $\overline{w} = (\overline{w_1}, \cdots, \overline{w_m})$ 和 $v = (\overline{v_1}, \cdots, \overline{v_l})$ 。
设点 $\overline{x}$ 的约束规格 $\overline{G} = \overline{T}$ 成立，则 $\forall d \in \overline{G}$ ，有

$d T \nabla 2 x L (x ¯, w ¯ ¯ ¯, v ¯) d \geq 0$ $d^T \nabla _x^2 L(\overline{x}, \overline{w}, \overline{v}) d \ge 0$
即 $L$ 在点 $\overline{x}$ 关于 $x$ 的Hesse矩阵 $\nabla _x^2 L(\overline{x}, \overline{w}, \overline{v}) = \nabla ^2 f(\overline{x}) - \sum_{i = 1}^m \overline{w_i} \nabla ^2 g_i(\overline{x}) - \sum_{j = 1}^l \overline{v_j} \nabla ^2 h_j(\overline{x})$ 是在 $\overline{G}$ 上半正定的。
二阶充分条件

设 $f$ , $g_i (i = 1, \cdots, m)$ 和 $h_j (j = 1, \cdots, l)$ 二次连续可微， $\overline{x}$ 为可行点，存在满足一般情形的一阶必要条件的乘子 $\overline{w} = (\overline{w_1}, \cdots, \overline{w_m})$ 和 $v = (\overline{v_1}, \cdots, \overline{v_l})$ ，且 $\forall d \in \overline{G}$ ，有

$d T \nabla 2 x L (x ¯, w ¯ ¯ ¯, v ¯) d > 0$ $d^T \nabla _x^2 L(\overline{x}, \overline{w}, \overline{v}) d \gt 0$
则 $x$ 是严格局部最优解。

考虑下列非线性规划问题（可行域如图中的弧 $ABCD$ ）：

min s.t. x 1, 3 (x 1 - 3) 2 + x 2 \geq 0, (x 1 - 3) 2 + x 22 - 10 = 0.

$\begin{array}{cl} \min & x_1, \\ \text{s.t.} & 3(x_1 - 3)^2 + x_2 \ge 0, \\ & (x_1 - 3)^2 + x_2^2 - 10 = 0. \end{array}$
判断下列各点是否为局部最优解：

x (1) = [2 - 3], x (2) = [4 - 3], x (3) = [3 + 10 - - \sqrt 0], x (4) = [3 - 10 - - \sqrt 0] .

$x^{(1)} = \begin{bmatrix} 2 \\ -3 \end{bmatrix}, x^{(2)} = \begin{bmatrix} 4 \\ -3 \end{bmatrix}, x^{(3)} = \begin{bmatrix} 3 + \sqrt{10} \\ 0 \end{bmatrix}, x^{(4)} = \begin{bmatrix} 3 - \sqrt{10} \\ 0 \end{bmatrix}.$
解：目标函数

f(x)=x1 $f(x) = x_1$ 及约束函数

g(x)=3(x1−3)2+x2 $g(x) = 3(x_1 - 3)^2 + x_2$ ,

h(x)=(x1−3)2+x22−10 $h(x) = (x_1 - 3)^2 + x_2^2 - 10$ 的梯度分别为

\nabla f (x) = [10], \nabla g (x) = [6 (x 1 - 3) 1], \nabla h (x) = [2 (x 1 - 3) 2 x 2] .

$\nabla f(x) = \begin{bmatrix} 1 \\ 0 \end{bmatrix}, \nabla g(x) = \begin{bmatrix} 6(x_1 - 3) \\ 1 \end{bmatrix}, \nabla h(x) = \begin{bmatrix} 2(x_1 - 3) \\ 2x_2 \end{bmatrix}.$
Lagrange函数是

L(x,w,v)=x1−w[3(x1−3)2+x2]−v[(x1−3)2+x22−10] $L(x, w, v) = x_1 - w[3(x_1 - 3)^2 + x_2] - v[(x_1 - 3)^2 + x_2^2 - 10]$

\nabla x L = [1 - 6 w (x 1 - 3) - 2 v (x 1 - 3) - w - 2 v x 2], \nabla 2 x L = [- 6 w - 2 v 0 0 - 2 v] .

$\nabla _x L = \begin{bmatrix} 1 - 6w(x_1 - 3) - 2v(x_1 - 3) \\ -w - 2vx_2 \end{bmatrix}, \nabla _x^2 L = \begin{bmatrix} -6w - 2v & 0 \\ 0 & -2v \end{bmatrix}.$

(1) $x^{(1)}$ 是可行点，两个约束均为起作用约束。

\nabla f (x (1)) = [10], \nabla g (x (1)) = [- 6 1], \nabla h (x (1)) = [- 2 - 6] .

$\nabla f(x^{(1)}) = \begin{bmatrix} 1 \\ 0 \end{bmatrix}, \nabla g(x^{(1)}) = \begin{bmatrix} -6 \\ 1 \end{bmatrix}, \nabla h(x^{(1)}) = \begin{bmatrix} -2 \\ -6 \end{bmatrix}.$
KKT条件为

⎧ ⎩ ⎨ 1 + 6 w + 2 v = 0 - w + 6 v = 0 w \geq 0

$\begin{cases} 1 + 6w + 2v = 0 \\ -w + 6v = 0 \\ w \ge 0 \end{cases}$
方程组无解，故

x(1) $x^{(1)}$ 不是KKT点，不是局部最优解。

(2) $x^{(2)}$ 是可行点，两个约束均为起作用约束。

\nabla f (x (1)) = [10], \nabla g (x (1)) = [61], \nabla h (x (1)) = [2 - 6] .

$\nabla f(x^{(1)}) = \begin{bmatrix} 1 \\ 0 \end{bmatrix}, \nabla g(x^{(1)}) = \begin{bmatrix} 6 \\ 1 \end{bmatrix}, \nabla h(x^{(1)}) = \begin{bmatrix} 2 \\ -6 \end{bmatrix}.$
KKT条件为