凸函数一阶条件二阶条件证明

定义

如果$\textbf{dom} f$是凸集, 且$\forall x, y\in\textbf{dom}f$和$\forall 0\leqslant\theta\leqslant 1$, 有

$$\begin{eqnarray} f(\theta x+(1-\theta)y)\leqslant \theta f(x) + (1-\theta)f(y), \end{eqnarray}$$
我们就称函数 $f:\mathbf{R}^n\rightarrow \mathbf{R}$是凸函数.
几何意义上讲, 凸函数意味着点 $(x, f(x))$, $(y, f(y))$之间的线段在函数 $f$的上方. 如果不等式(1.1)对于 $x\neq y$及 $0<\theta<1$严格成立, 我们就称函数 $f$是严格凸的. 如果函数 $-f$是凸的(严格凸)的, 则函数 $f$是凹(严格凹)的.
对于仿射函数 $f(x)=\mathbf{A}x+b$(线性函数与常数的和), 不等式(1.1)总成立, 因此所有的仿射函数(包括线性函数)既是凸的, 又是凹的. 反之也成立, 即如果函数既凸又凹, 则其一定是仿射函数.
函数是凸的, 当且仅当其在与其定义域相交的任意直线上都是凸的. 也就是说, 函数 $f$是凸的当且仅当 $\forall x\in domf$和任意向量 $v$, 函数 $g(t)=f(x+tv)$是凸的, 其定义域是 $\{t|x+tv\in\textbf{dom}f\}$. 根据这个性质, 我们可以将函数限制在直线上判断其是否是凸函数.

一阶条件

假设$f$可微, 则函数$f$是凸函数的充要条件是$\textbf{dom}f$是凸集, 且$\forall x, y\in \textbf{dom}f$, 下式成立

$$\begin{eqnarray} f(y)\geqslant f(x)+\nabla f(x)^T(y-x). \end{eqnarray}$$
这里关于 $y$的仿射函数 $f(x)+\nabla f(x)^T(y-x)$是函数 $f$在 $x$附近的Taylor近似. 从不等式(1.2)可以看出, 对于一个凸函数, 其一阶Taylor展开实际上是该函数的一个全局下估计. 反之, 如果一个函数的一阶Taylor展开总是其全局下估计, 那么这个函数是凸的.
不等式(1.2)还说明从一个函数的 $\textbf{局部信息}$可以得到函数的一些 $\textbf{全局信息}$. 由不等式可以知道, 如果 ∇f(x)=0