漫步最优化十五——凸函数优化

$\textbf{你在穿山越岭的另一边，}$
$\textbf{而我也在没有尽头的孤独路上前行。}$
$\textbf{试着体会错误，试着忍住眼泪，}$
$\textbf{可是该有的情绪根本逃不开。}$
$\textbf{我知道逃避是没有用的，}$
$\textbf{但是我还会记得你的关心与爱。}$
$\qquad\qquad\textbf{——畅宝宝的傻逼哥哥}$

$\textbf{定理1：}$如果$f(\textbf{x})$是定义在凸集$R_c$上的凸函数，那么

1. $f(\textbf{x})$取最小值构成的点集合$S_c$是凸集；
2. 任何$f(\textbf{x})$的局部极小都是全局极小。

$\textbf{证明：}$(a)如果$F^*$是$f(\textbf{x})$的极小值，那么$S_c=\{\textbf{x}:f(\textbf{x})\leq F^*,\textbf{x}\in R_c\}$是凸集。

(b)如果$\textbf{x}^*\in R_c$是局部极小值，但存在全局极小点$\textbf{x}^{**}\in R_c$使得

$$f(\textbf{x}^{**})<f(\textbf{x}^*)$$

那么在直线$\textbf{x}=\alpha\textbf{x}^{**}+(1-\alpha)\textbf{x}^*$

$$\begin{align*} f[\alpha\textbf{x}^{**}+(1-\alpha)\textbf{x}^*] &\leq\alpha f(\textbf{x}^{**})+(1-\alpha)f(\textbf{x}^*)\\ &<\alpha f(\textbf{x}^{*})+(1-\alpha)f(\textbf{x}^*) \end{align*}$$

或者

$$f(\textbf{x})<f(\textbf{x}^*)\quad for\ all\ \alpha$$

这与$\textbf{x}^*$是局部极小值相矛盾，因此在凸集上的任何局部极小值是全局极小值。

$\textbf{定理2：}$如果$f(\textbf{x})\in C^1$是凸集$R_c$上的凸函数，且存在点$\textbf{x}^*$使得对所有$\textbf{x}_1\in R_c$

$$\textbf{g}(\textbf{x}^*)^T\textbf{d}\geq 0\quad where\textbf{d}=\textbf{x}_1-\textbf{x}^*$$

，那么$\textbf{x}^*$是$f(\textbf{x})$的全局极小值。

$\textbf{证明：}$根据上篇文章的定理可知

$$f(\textbf{x}_1)\geq f(\textbf{x}^*)+\textbf{g}(\textbf{x}^*)^T(\textbf{x}_1-\textbf{x}^*)$$

其中$\textbf{g}(\textbf{x}^*)$是$f(\textbf{x})$在点$\textbf{x}=\textbf{x}^*$处的梯度。因为

$$\textbf{g}(\textbf{x}^*)^T(\textbf{x}_1-\textbf{x}^*)\geq 0$$

所以

$$f(\textbf{x}_1)\geq f(\textbf{x}^*)$$

所以$\textbf{x}^*$是局部极小值，根据定理1可知$\textbf{x}^*$也是局部极小值。

同样的，如果$f(\textbf{x})$是严格凸函数且

$$\textbf{g}(\textbf{x}^*)^T\textbf{d}>0$$

那么$\textbf{x}^*$是强全局极小值。

上面的定理说明，如果$f(\textbf{x})$是凸函数，那么$\textbf{x}^*$是全局极小值的一阶充分条件变成了了必要条件。

因为单变量的凸函数形状像字母$U$，而二元凸函数像个碗，所以没有像定理1，2那样表征凸函数极大值的定理，然而，下面的定理是有用的。

$\textbf{定理3：}$如果$f(\textbf{x})$是定义在有界闭的凸集$R_c$上，那么如果$f(\textbf{x})$在$R_c$上有极大值，它一定在$R_c$的边界上。

$\textbf{证明：}$如果点$\textbf{x}$在$R_c$的内部，那么我们可以得出一条通过$\textbf{x}$且与边界相交两点$\textbf{x}_1,\textbf{x}_2$的直线，这是因为$R_c$是有界闭集合。因为$f(\textbf{x})$是凸函数，所以存在$\alpha,0<\alpha<1$使得

$$\textbf{x}=\alpha\textbf{x}_1+(1-\alpha)\textbf{x}_2$$

且

$$f(\textbf{x})\leq \alpha f(\textbf{x}_1)+(1-\alpha)f(\textbf{x}_2)$$

如果$f(\textbf{x}_1)>f(\textbf{x}_2)$，那么

$$\begin{align*} f(\textbf{x}) &<\alpha f(\textbf{x}_1)+(1-\alpha)f(\textbf{x}_1)\\ &=f(\textbf{x}_1) \end{align*}$$

如果

$$f(\textbf{x}_1)<f(\textbf{x}_2)$$

，那么

$$\begin{align*} f(\textbf{x}) &<\alpha f(\textbf{x}_2)+(1-\alpha)f(\textbf{x}_2)\\ &=f(\textbf{x}_2) \end{align*}$$

接下来如果

$$f(\textbf{x}_1)=f(\textbf{x}_2)$$

那么

$$f(\textbf{x})\leq f(\textbf{x}_1)\quad and\quad f(\textbf{x})\leq f(\textbf{x}_2)$$

显然，所有可能的极大值都发生在$R_c$的边界上。

这个定理图示如图1。

图1