抄书——最优化的理论与方法(5)——数学基础(凸集和凸函数)

以下内容主要抄自抄袁亚湘的《最优化理论与方法》的 1.3 凸集和凸函数


凸性(Convexity)在优化化理论和方法的研究中起着重要作用。

1.3.1 凸集

定义 1.3.1
设集合 S⊂RnS\subset R^nSRn,如果对于任意 x1,x2∈Sx_1,x_2\in Sx1,x2S,有
αx1+(1−α)x2∈S,∀α∈[0,1](1.3.1) \alpha x_1+(1-\alpha)x_2\in S,\quad \forall \alpha\in [0,1]\qquad(1.3.1) αx1+(1α)x2S,α[0,1](1.3.1)
则称 SSS凸集
这个定义表明,如果 x1,x2∈Sx_1,x_2\in Sx1,x2S,则连接 x1x_1x1x2x_2x2 的线段属于 SSS
在这里插入图片描述
图1 凸集与非凸集(左边是凸集,右边是非凸集)
归纳地可以证明,RnR^nRn 的子集 SSS 为凸集当且仅当对任意 x1,x2,⋯ ,xm∈Sx_1,x_2,\cdots,x_m \in Sx1,x2,,xmS,有
∑i=1mαixi∈S,(1.3.2)with ∑i=1mαi=1,αi≥0,i=1,⋯ ,m \sum_{i=1}^m \alpha_i x_i \in S,\qquad(1.3.2)\\ \text{with }\sum_{i=1}^m \alpha_i=1,\quad \alpha_i\ge 0, i=1,\cdots,m i=1mαixiS,(1.3.2)with i=1mαi=1,αi0,i=1,,m
(1.3.1)中的 x=αx1+(1−α)x2x=\alpha x_1+(1-\alpha)x_2x=αx1+(1α)x2 称为 x1x_1x1x2x_2x2凸组合,(1.3.2)中的 x=∑αixix=\sum\alpha_i x_ix=αixi 称为 x1,⋯ ,xnx_1,\cdots,x_nx1,,xn凸组合
例 1.3.2
超平面 H={x∣ pTx=α,α∈R}H=\{ x\vert\ p^Tx=\alpha,\alpha\in R\}H={x pTx=α,αR} 是凸集,其中 p∈Rnp\in R^npRn 是非零向量,称为超平面的法向量α\alphaα 为实数。
例 1.3.3
闭半空间 H−={x∣ pTx≤β}H^-=\{x \vert \ p^Tx\le \beta\}H={x pTxβ}H+={x∣ pTx≥β}H^+=\{x \vert \ p^Tx\ge \beta\}H+={x pTxβ} 为凸集。开半空间 H˚−={x∣ pTx&lt;β}\mathring H^-=\{x \vert \ p^Tx\lt \beta\}H˚={x pTx<β}H˚+={x∣ pTx&gt;β}\mathring H^+=\{x \vert \ p^Tx\gt \beta\}H˚+={x pTx>β} 为凸集。
例 1.3.4
射线 S={x∣ x0+λd, λ≥0}S=\{x\vert\ x_0+\lambda d,\ \lambda\ge 0\}S={x x0+λd, λ0} 为凸集,其中,ddd 是给定的任意非零向量,x0x_0x0 是定点。


对于任意 x1,x2∈Sx_1,x_2 \in Sx1,x2S 和每个数 λ∈[0,1]\lambda\in[0,1]λ[0,1],有
x1=x0+λ1d,x2=x0+λ2d,λ1,λ2∈[0,1] x_1=x_0+\lambda_1 d,\quad x_2=x_0+\lambda_2 d,\quad \lambda_1,\lambda_2\in [0,1] x1=x0+λ1d,x2=x0+λ2d,λ1,λ2[0,1]
因而,
λx1+(1−λ)x2=x0+[λλ1+(1−λ)λ2]dλλ1+(1−λ)λ2≥0 \lambda x_1 + (1-\lambda)x_2=x_0+[\lambda\lambda_1+(1-\lambda)\lambda_2]d\\ \lambda\lambda_1+(1-\lambda)\lambda_2\ge 0 λx1+(1λ)x2=x0+[λλ1+(1λ)λ2]dλλ1+(1λ)λ20
故,λx1+(1−λ)x2∈S\lambda x_1 + (1-\lambda)x_2 \in Sλx1+(1λ)x2S.


此外,若 AAAm×nm\times nm×n 矩阵,b∈Rnb\in R^nbRn,则集合
S={x∈Rn∣Ax=b} S=\{x\in R^n \vert Ax=b\} S={xRnAx=b}
是凸集。
由有限个半闭空间的交组成的集合 SSS多面集,表达为
S={x∣piTx≤βi, i=1,⋯&ThinSpace;,m} S=\{x\vert p_i^T x\le \beta_i,\ i=1,\cdots,m\} S={xpiTxβi, i=1,,m}
其中 pip_ipi 是非零向量,βi\beta_iβi 是实数。多面集是闭凸集。由于等式可以用两个不等式表示,所以下面的集合都是多面集的例子:
S={x∣Ax=b, x≥0},S={x∣Ax≥0, x≥0}. S=\{x\vert A x=b,\ x\ge 0\},\\ S=\{x\vert A x\ge 0,\ x\ge 0\}. S={xAx=b, x0},S={xAx0, x0}.
下面的引理叙述了凸集的性质,即两个凸集的交集是凸集,两个凸集的代数和是凸集
引理 1.3.5
S1S_1S1S2S_2S2RnR^nRn 中的凸集,则
1)S1∩S2S_1\cap S_2S1S2 是凸集;
2)S1±S2={x1±x2∣ x1∈S1,x2∈S2}S_1 \pm S_2=\{ x_1\pm x_2 \vert\ x_1\in S_1, x_2 \in S_2\}S1±S2={x1±x2 x1S1,x2S2}
从这个引理可知,线性规划和二次规划中的可行域是凸集,因为它是超平面和半空间的交集

S⊂RnS\subset R^nSRn,包含子集 SSS 的所有凸集的交叫 SSS凸包,记作 conv(S){conv}(S)conv(S),它是包含 SSS 的唯一的最小的凸集。凸包 conv(S){conv}(S)conv(S)SSS 中元素的所有凸组合组成,
conv(S)={x∣x=∑i=1mαixi, xi∈S, ∑i=1mαi=1, αi≥0,i=1,⋯&ThinSpace;,m}(1.3.3) {conv}(S)=\left \{ x \left\vert x=\sum_{i=1}^m \alpha_i x_i,\ x_i\in S,\ \sum_{i=1}^m \alpha_i = 1,\ \alpha_i\ge 0, i=1,\cdots,m\right. \right\}\qquad(1.3.3) conv(S)={xx=i=1mαixi, xiS, i=1mαi=1, αi0,i=1,,m}(1.3.3)


RnR^nRn 的子集叫,如果它关于正的数乘运算是封闭的,即当 x∈K, λ&gt;0x\in K,\ \lambda\gt 0xK, λ>0 时,λx∈K\lambda x \in KλxK。如果锥 K 也是凸集,则称之为凸锥。例如:
{x=(ξ1,⋯&ThinSpace;,ξn) ∣ ξ1≥0,⋯&ThinSpace;,ξn≥0},{x=(ξ1,⋯&ThinSpace;,ξn) ∣ ξ1&gt;0,⋯&ThinSpace;,ξn&gt;0}, \{ x=(\xi_1,\cdots,\xi_n)\ \vert \ \xi_1\ge 0,\cdots,\xi_n \ge 0\},\\ \{ x=(\xi_1,\cdots,\xi_n)\ \vert \ \xi_1\gt 0,\cdots,\xi_n \gt 0\}, {x=(ξ1,,ξn)  ξ10,,ξn0},{x=(ξ1,,ξn)  ξ1>0,,ξn>0},

{x∈Rn ∣ xTbi≤0,i∈I} \{ x\in R^n \ \vert \ x^Tb_i\le 0, i\in I\} {xRn  xTbi0,iI}
均是凸锥,在上式中,bi∈Rnb_i\in R^nbiRnIII 是一个任意指标集。
RnR^nRn 的一个子集是凸锥当且仅当它关于加法和正的数乘运算是封闭的。包含凸集 CCC最小凸锥是
K={λx ∣ λ&gt;0,x∈C} K=\{\lambda x\ \vert\ \lambda \gt 0, x\in C\} K={λx  λ>0,xC}


下面叙述开集、闭集、开凸集和闭凸集。
x∈Rnx\in R^nxRn,开球 B(x,r)B(x,r)B(x,r) 定义为:
B(x,r)={y∈Rn ∣ ∥y−x∥&lt;r} B(x,r) = \{y\in R^n \ \vert \ \Vert y-x \Vert \lt r \} B(x,r)={yRn  yx<r}
这是一个以 xxx 为中心,以 rrr 为半径的开球
S⊂RnS\subset R^nSRn,如果存在 r&gt;0r\gt 0r>0,使得 B(x,r)⊂SB(x,r)\subset SB(x,r)S,则称 x∈Rnx\in R^nxRnSSS内点SSS 的所有内点的集合叫 SSS 的内部,用 int(S){int}(S)int(S) 表示。显然,int(S)⊂Sint(S)\subset Sint(S)S
如果子集 SSS 的每一点都是 SSS 的内点,即 int(S)=Sint(S)=Sint(S)=S,则 SSS 称为开子集。特别,空集 ∅\varnothingnnn维空间 RnR^nRn(全集) 是 RnR^nRn 的开子集。它们既是开集,又是闭集。
S⊂RnS\subset R^nSRn,如果
S∩B(x,r)≠∅, ∀r&gt;0 S\cap B(x,r) \neq \varnothing, \ \forall r\gt 0 SB(x,r)̸=, r>0
xxx 称为属于S的闭包,即 x∈S‾x\in \overline SxS。显然,S⊂S‾S\subset \overline SSS
如果 S=S‾S=\overline SS=S,则 SSS 称为闭子集。空集 ∅\varnothingnnn维空间 RnR^nRn(全集) 是 RnR^nRn 的闭子集。直观地说,如果一个子集包含它所有的边界点,则它是闭的。例如:闭球 B‾(x,r)={y∈Rn∣ ∥y−x∥≤r}\overline B(x,r)=\{y\in R^n \vert \ \Vert y-x\Vert\le r\}B(x,r)={yRn yxr} 是闭集。
显然,一个子集是闭的,当且仅当它的补是开的
根据上述定义,闭包 S‾\overline SS 可以写为:
S‾={x∈Rn ∣ lim⁡k∥xk−x∥=0, xk∈S} \overline S = \{ x\in R^n \ \vert \ \lim_{k} \Vert x_k-x\Vert=0,\ x_k\in S\} S={xRn  klimxkx=0, xkS}


什么意思呢?即闭包 S‾\overline SS 集合中的点 xxx 与集合 SSS 的距离为零。


S⊂RnS\subset R^nSRn 是凸集,若它是开的,则称为开凸集;若它是闭的,则称为闭凸集。

定理 1.3.6
如果 C⊂RnC\subset R^nCRn 是凸集,那么 CCC 的闭包 C‾\overline CC 也是凸集。


在凸集的研究中另一个有用的概念为凸集的极值点极值方向
定义 1.3.7
S⊂RnS\subset R^nSRn 是非空凸集,x∈Sx\in SxS,若 xxx 不在 SSS 中任何线段的内部,即,若假设 x=θx1+(1−θ)x2, and x1,x2∈S,θ∈(0,1)x=\theta x_1+(1-\theta)x_2,\text{ and }x_1,x_2\in S,\theta \in (0,1)x=θx1+(1θ)x2, and x1,x2S,θ(0,1) 必推出 x=x1=x2x=x_1=x_2x=x1=x2,则称 xxx 是凸集 SSS 的极值点。
显然,多边形的顶点和圆周上的任意点都是极值点。

定义 1.3.8
S⊂RnS\subset R^nSRn 是闭凸集,ddd 为非零向量,如果对每一个 x∈S,x+λd∈S,∀λ≥0x\in S,x+\lambda d\in S,\forall \lambda\ge 0xS,x+λdS,λ0则称向量 dddSSS 的方向。又设d1d_1d1d2d_2d2SSS 的两个不同方向。如果 SSS 的方向 ddd 不能表示成该集合的两个不同方向的正的线性组合,即如果 d=λ1d1+λ2d2, λ1,λ2&gt;0d=\lambda_1 d_1+\lambda_2 d_2,\ \lambda_1,\lambda_2 \gt 0d=λ1d1+λ2d2, λ1,λ2>0,必可推出 d1=αd2d_1=\alpha d_2d1=αd2,则称 dddSSS极值方向
如下图:
在这里插入图片描述
图2 极值方向

考虑多面集
S={x∣ Ax=b,x≥0} S=\{x\vert \ Ax=b,x\ge 0\} S={x Ax=b,x0}
其中 AAAm×nm\times nm×n 矩阵,rank(A)=m,b∈Rm{rank}(A)=m,b\in R^mrank(A)=m,bRm。不失一般性,设 A=[B,N]A=[B,N]A=[B,N],其中 BBBm×mm\times mm×m 非奇异矩阵,NNNm×(n−m)m\times(n-m)m×(nm) 矩阵。设 xB,xNx_B,x_NxB,xN 分别是对应于 BBBNNN 的向量,
Ax=[B  N][xBxN]=BxB+NxN=b Ax=[B \ \ N]\left[ \begin{array} {c} x_B \\ x_N\end{array} \right]= Bx_B + Nx_N=b Ax=[B  N][xBxN]=BxB+NxN=b
于是,xxx 是多面集 SSS极值点的充分必要条件
x=[xBxN]=[B−1b0] x=\left[ \begin{array} {c} x_B \\ x_N\end{array} \right]=\left[ \begin{array} {c} B^{-1}b \\ 0\end{array} \right] x=[xBxN]=[B1b0]
其中,B−1b≥0B^{-1}b \ge 0B1b0
d≠0d\neq0d̸=0SSS 的一个方向,当且仅当 Ad=0,d≥0Ad=0,d\ge0Ad=0,d0d‾\overline ddSSS 的一个极值方向,当且仅当
B−1aj≤0, 对某个 aj 是 N 的列,d‾=αd=α(B−1ajej) B^{-1}a_j\le 0,\text{ 对某个 $a_j$ 是 N 的列,}\\ \text{} \\ \overline d=\alpha d=\alpha \left( \begin{array}{c} B^{-1}a_j \\ e_j \end{array}\right) B1aj0, 对某个 aj  N 的列,d=αd=α(B1ajej)
其中 α&gt;0,ej∈Rn−m\alpha \gt 0, e_j \in R^{n-m}α>0,ejRnm 是单位向量。


1.3.2 凸函数

定义 1.3.9
S⊂RnS\subset R^nSRn 是非空凸集,α∈(0,1)\alpha \in (0,1)α(0,1)fff 是定义在 SSS 上的函数。如果对任意 x1,x2∈Sx_1,x_2\in Sx1,x2S,有
f(αx1+(1−α)x2)≤αf(x1)+(1−α)f(x2)(1.3.4) f(\alpha x_1+(1-\alpha)x_2)\le \alpha f(x_1)+(1-\alpha) f(x_2) \qquad(1.3.4) f(αx1+(1α)x2)αf(x1)+(1α)f(x2)(1.3.4)
则称函数 fffSSS 上的凸函数。如果当 x1≠x2x_1\neq x_2x1̸=x2 时(1.3.4)中严格不等式成立,
f(αx1+(1−α)x2)&lt;αf(x1)+(1−α)f(x2)(1.3.5) f(\alpha x_1+(1-\alpha)x_2)\lt \alpha f(x_1)+(1-\alpha) f(x_2) \qquad(1.3.5) f(αx1+(1α)x2)<αf(x1)+(1α)f(x2)(1.3.5)
则称函数 fffSSS 上的严格凸函数。如果存在一个常数 c&gt;0c\gt 0c>0,使得对任意 x1,x2∈Sx_1,x_2\in Sx1,x2S,有
αf(x1)+(1−α)f(x2)≥f(αx1+(1−α)x2)+cα(1−α)∥x1−x2∥2(1.3.6) \alpha f(x_1)+(1-\alpha) f(x_2)\ge f(\alpha x_1+(1-\alpha)x_2)+c\alpha(1-\alpha)\Vert x_1-x_2\Vert^2\qquad(1.3.6) αf(x1)+(1α)f(x2)f(αx1+(1α)x2)+cα(1α)x1x22(1.3.6)
则称 fffSSS 上是一致凸的
如果 −f-ffSSS 上的凸(严格凸)函数,则称 fffSSS 上的凹(严格凹)函数
在这里插入图片描述
图3 凸(凹)函数

凸函数有如下性质:
定理 1.3.10
1)设 fff 是定义在凸集 SSS 上的凸函数,实数 α≥0\alpha \ge 0α0,则 αf\alpha fαf 也是定义在 SSS 上的凸函数。
2)设 f1,f2f_1,f_2f1,f2 是定义在凸集 SSS 上的凸函数,则 f1+f2f_1+f_2f1+f2,也是定义在 SSS 上的凸函数。
3)设 f1,f2,⋯&ThinSpace;,fmf_1,f_2,\cdots,f_mf1,f2,,fm 是定义在凸集 SSS 上的凸函数,实数 α1,α2,⋯&ThinSpace;,αn≥0\alpha_1,\alpha_2,\cdots,\alpha_n \ge 0α1,α2,,αn0,则 ∑i=1mαifi\sum_{i=1}^m \alpha_i f_ii=1mαifi 也是定义在 SSS 上的凸函数。


即对正实数乘和加法是封闭的。


如果凸函数是可微的,我们可以用下面的特征描述凸函数,下面的定理刻画了凸函数的一阶特征。
定理 1.3.11
S⊂RnS\subset R^nSRn 是非空开凸集,fff 是定义在 SSS 上的可微函数,则 fff 为凸函数的充分必要条件是:
f(y)≥f(x)+∇f(x)T(y−x),∀x,y∈S(1.3.7) f(y)\ge f(x)+\nabla f(x)^T(y-x),\quad \forall x,y\in S\qquad(1.3.7) f(y)f(x)+f(x)T(yx),x,yS(1.3.7)
在这里插入图片描述
图4 凸函数的一阶特征


证明:
必要性:设 fff 是凸函数,于是对所有 α, 0≤α≤1\alpha,\ 0\le \alpha \le 1α, 0α1,有
f(αy+(1−α)x)≤αf(y)+(1−α)f(x) f(\alpha y + (1-\alpha)x) \le \alpha f(y) + (1-\alpha)f(x) f(αy+(1α)x)αf(y)+(1α)f(x)
因此,对于 0&lt;α≤10\lt \alpha \le 10<α1
f(x+α(y−x))−f(x)α≤f(y)−f(x) \frac{f(x+\alpha(y-x))-f(x)}{\alpha}\le f(y)-f(x) αf(x+α(yx))f(x)f(y)f(x)
α→0\alpha \to 0α0,得
∇f(x)T(y−x)≤f(y)−f(x)⇒f(y)≥f(x)+∇f(x)T(y−x) \nabla f(x)^T(y-x)\le f(y)-f(x)\\ \text{} \\ \Rightarrow f(y)\ge f(x)+\nabla f(x)^T(y-x) f(x)T(yx)f(y)f(x)f(y)f(x)+f(x)T(yx)
充分性:今设(1.3.7)成立,任取 x1,x2∈S, 0≤α≤1x_1,x_2\in S, \ 0\le\alpha\le 1x1,x2S, 0α1,令 x=αx1+(1−α)x2x=\alpha x_1 + (1-\alpha)x_2x=αx1+(1α)x2,我们有
f(x1)≥f(x)+∇f(x)T(x1−x)f(x2)≥f(x)+∇f(x)T(x2−x) f(x_1)\ge f(x) + \nabla f(x)^T(x_1-x)\\ f(x_2)\ge f(x) + \nabla f(x)^T(x_2-x) f(x1)f(x)+f(x)T(x1x)f(x2)f(x)+f(x)T(x2x)
于是得到
αf(x1)+(1−α)f(x2)≥f(x)+∇f(x)T[αx1+(1−α)x2−x]=f(αx1+(1−α)x2) \alpha f(x_1) + (1-\alpha)f(x_2)\ge f(x)+\nabla f(x)^T[\alpha x_1+(1-\alpha)x_2-x]\\=f(\alpha x_1+(1-\alpha)x_2) αf(x1)+(1α)f(x2)f(x)+f(x)T[αx1+(1α)x2x]=f(αx1+(1α)x2)
(对于一维凸函数,有
lim⁡x→αx1+(1−α)x2f(αx1+(1−α)x2)−f(x)αx1+(1−α)x2−x=f′(αx1+(1−α)x2) \lim_{x\to \alpha x_1+(1-\alpha)x_2}\frac{f(\alpha x_1+(1-\alpha)x_2)-f(x)}{\alpha x_1+(1-\alpha)x_2-x} = f&#x27;(\alpha x_1+(1-\alpha)x_2) xαx1+(1α)x2limαx1+(1α)x2xf(αx1+(1α)x2)f(x)=f(αx1+(1α)x2)
这表明 f(x)f(x)f(x) 是凸函数。


凸函数的定义 1.3.9 表示了两点的线性插值大于函数值,即函数图形在弦之下。这个定理表明了根据局部导数的线性近似是函数的低估,即凸函数图形位于图形上任一点切线的上方。这样的切线(面)就称为凸函数的一个支撑超平面

下面,我们对于二次连续可微函数,考虑凸函数的二次特征。
定理 1.3.12
S∈RnS\in R^nSRn 是非空开凸集,fff 是定义在 SSS 上的二次可微函数,则 fff凸函数充分必要条件是在 SSS 的每一点Hesse 矩阵正半定


fffxxx 处的 Hesse 矩阵定义为 n×nn\times nn×n 矩阵,其第 i,ji,ji,j 元素为:
[∇2f(x)]ij=∂2f(x)∂xi∂xj,1≤i,j≤n [\nabla^2 f(x)]_{ij}=\frac{\partial^2 f(x)}{\partial x_i \partial x_j},\quad 1\le i,j \le n [2f(x)]ij=xixj2f(x),1i,jn


证明:
1)充分性
设 Hesse 矩阵 ∇2f(x)\nabla^2 f(x)2f(x) 在每一点 x∈Sx\in SxS 正半定。考虑 x,x‾∈Sx, \overline x\in Sx,xS,由中值定理,有
f(x)=f(x‾)+∇f(x‾)T(x−x‾)+12(x−x‾)T∇2f(x^)(x−x‾) f(x) = f(\overline x) + \nabla f(\overline x)^T(x-\overline x)+\frac12(x-\overline x)^T\nabla^2f(\widehat x)(x-\overline x) f(x)=f(x)+f(x)T(xx)+21(xx)T2f(x)(xx)
其中,x^=x‾+θ(x−x‾),θ∈(0,1)\widehat x=\overline x+\theta(x-\overline x),\theta \in (0,1)x=x+θ(xx),θ(0,1)。注意到 x^∈S\widehat x\in SxS,故由假设(∇2f(x)\nabla^2 f(x)2f(x) 在每一点 x∈Sx\in SxS 正半定)知:
f(x)≥f(x‾)+∇f(x‾)T(x−x‾) f(x) \ge f(\overline x) + \nabla f(\overline x)^T(x-\overline x) f(x)f(x)+f(x)T(xx)
从而,根据定理 1.3.11 可知 fff 是凸函数。
2)必要性
fff 是凸函数,任取 x‾∈S\overline x\in SxS,我们要证明 pT∇2f(x‾)p≥0,∀p∈Rnp^T\nabla^2f(\overline x)p\ge 0,\forall p\in R^npT2f(x)p0,pRn,即证明 ∇2f(x‾)\nabla^2f(\overline x)2f(x) 正半定。由于 SSS 是开集,必存在 δ&gt;0\delta \gt 0δ>0,使当 ∣λ∣&lt;δ\vert \lambda \vert \lt \deltaλ<δ 时,x‾+λp∈S\overline x+\lambda p\in Sx+λpS。根据定理 1.3.11,有
f(x‾+λp)≥f(x‾)+λ∇f(x‾)Tp(1.3.8) f(\overline x +\lambda p)\ge f(\overline x) + \lambda \nabla f(\overline x)^Tp \qquad(1.3.8) f(x+λp)f(x)+λf(x)Tp(1.3.8)
又由于 f(x)f(x)f(x)x‾\overline xx 处二次可微,则
f(x‾+λp)=f(x‾)+λ∇f(x‾)Tp+λ22pTG(x‾)p+o(∥λp∥2)(1.3.9) f(\overline x+\lambda p)=f(\overline x)+\lambda\nabla f(\overline x)^Tp+\frac{\lambda^2}2p^TG(\overline x)p+o(\Vert \lambda p\Vert^2)\qquad(1.3.9) f(x+λp)=f(x)+λf(x)Tp+2λ2pTG(x)p+o(λp2)(1.3.9)
其中 G(x‾)G(\overline x)G(x)fffx‾\overline xx 处的 Hesse 阵。将 (1.3.9) 代入 (1.3.8) 便得到
12λ2pTG(x‾)p+o(∥λp∥2)≥0 \frac12 \lambda^2p^TG(\overline x)p+o(\Vert \lambda p\Vert^2)\ge 0 21λ2pTG(x)p+o(λp2)0
上式两边除以 λ2\lambda^2λ2,并令 λ→0\lambda\to 0λ0,得
pTG(x‾)p≥0 p^TG(\overline x)p\ge 0 pTG(x)p0
必要性得证。□\square


定理 1.3.13
S⊂RnS\subset R^nSRn 为非空开凸集,fff 是定义在 SSS 上的可微函数,则 fff严格凸函数的充分必要条件是
f(y)&gt;f(x)+∇f(x)T(y−x),∀y,x∈S,x≠y(1.3.10) f(y)\gt f(x)+\nabla f(x)^T(y-x),\quad \forall y,x\in S, x\neq y\qquad(1.3.10) f(y)>f(x)+f(x)T(yx),y,xS,x̸=y(1.3.10)
定理 1.3.14
S⊂RnS\subset R^nSRn 为非空开凸集,fff 是定义在 SSS 上的二次可微函数,如果在每一点 x∈Sx\in SxSHesse 阵正定,则 fff 为严格凸函数,如果 fff 为严格凸函数,则 Hesse 矩阵在 SSS 的每一点正半定

和凸函数关系密切的是水平集。下面的定理指出水平集是凸集。
定理 1.3.15
S⊂RnS\subset R^nSRn 为非空凸集,fff 是定义在 SSS 上的凸函数,α\alphaα 是一个实数,则水平集 Lα={x∣ x∈S,f(x)≤α}L_{\alpha}=\{x\vert \ x\in S,f(x)\le \alpha\}Lα={x xS,f(x)α} 是凸集。


证明:
x1,x2∈Lαx_1,x_2 \in L_{\alpha}x1,x2Lα,于是 x1,x2∈S,f(x1)≤α,f(x2)≤αx_1,x_2\in S,f(x_1)\le \alpha,f(x_2)\le\alphax1,x2S,f(x1)α,f(x2)α
今设 λ∈(0,1),x=λx1+(1−λ)x2\lambda\in(0,1),x=\lambda x_1+(1-\lambda)x_2λ(0,1),x=λx1+(1λ)x2。由 SSS 的凸性知道 x∈Sx\in SxS,又由于 fff 是凸函数,故有:
f(x1)&gt;f(x)+∇f(x)T(x1−λx1−(1−λ)x2)=f(x)+∇f(x)T(1−λ)(x1−x2)f(x2)&gt;f(x)+∇f(x)T(x2−λx1−(1−λ)x2)=f(x)−∇f(x)Tλ(x1−x2)→λf(x1)+(1−λ)f(x2)&gt;f(x)→f(x)&lt;λf(x1)+(1−λ)f(x2)≤λα+(1−λ)α=α f(x_1)\gt f(x)+\nabla f(x)^T(x_1-\lambda x_1-(1-\lambda)x_2)\\ =f(x)+\nabla f(x)^T(1-\lambda)(x_1-x_2) \\ f(x_2)\gt f(x)+\nabla f(x)^T(x_2-\lambda x_1-(1-\lambda)x_2)\\ =f(x)-\nabla f(x)^T\lambda(x_1-x_2) \\ \to \lambda f(x_1)+(1-\lambda)f(x_2) \gt f(x) \\ \to f(x) \lt \lambda f(x_1)+(1-\lambda)f(x_2)\le \lambda \alpha + (1-\lambda) \alpha = \alpha f(x1)>f(x)+f(x)T(x1λx1(1λ)x2)=f(x)+f(x)T(1λ)(x1x2)f(x2)>f(x)+f(x)T(x2λx1(1λ)x2)=f(x)f(x)Tλ(x1x2)λf(x1)+(1λ)f(x2)>f(x)f(x)<λf(x1)+(1λ)f(x2)λα+(1λ)α=α
因此,x∈Lαx\in L_{\alpha}xLα,从而 LαL_{\alpha}Lα 是凸集。□\square


进一步,若 fffSSS 上的连续凸函数,则显然水平集 LαL_{\alpha}Lα 是闭凸集。

定理 1.3.16
f(x)f(x)f(x)S∈RnS\in R^nSRn 上二次连续可微,且存在常数 m&gt;0m\gt 0m>0,使得:
uT∇2f(x)u≥m∥u∥2,∀x∈L(x0),u∈Rn(1.3.11) u^T\nabla^2f(x)u\ge m\Vert u\Vert^2,\quad \forall x\in L(x_0), u\in R^n\qquad(1.3.11) uT2f(x)umu2,xL(x0),uRn(1.3.11)
则水平集 L(x0)={x∈S∣ f(x)≤f(x0)}L(x_0)=\{x\in S\vert \ f(x)\le f(x_0)\}L(x0)={xS f(x)f(x0)}有界闭凸集


证明:
因为:
uT∇2f(x)u≥m∥u∥2,∀x∈L(x0),u∈Rn(1.3.11) u^T\nabla^2f(x)u\ge m\Vert u\Vert^2,\quad \forall x\in L(x_0), u\in R^n\qquad(1.3.11) uT2f(x)umu2,xL(x0),uRn(1.3.11)
所以,f(x)f(x)f(x) 每一点的 Hesse 矩阵正定,f(x)f(x)f(x) 为严格凸函数,由定理 1.3.15,可知,水平集 L(x0)L(x_0)L(x0) 对于任意 x0∈Rnx_0\in R^nx0Rn 是闭凸集。
现在证明 L(x0)L(x_0)L(x0)有界性
因为水平集 L(x0)L(x_0)L(x0) 是凸的,由(1.3.11),故 ∀x,y∈L(x0)\forall x,y\in L(x_0)x,yL(x0)
m∥y−x∥2≤(y−x)T∇2f(x+α(y−x))(y−x) m\Vert y-x \Vert^2 \le (y-x)^T\nabla^2f(x+\alpha(y-x))(y-x) myx2(yx)T2f(x+α(yx))(yx)
又由 Taylor 展开,(此处,我也不甚了了。)
f(y)=f(x)+∇f(x)T(y−x)+∫01∫0t(y−x)T∇2f(x+α(y−x))(y−x)dαdt ≥f(x)+∇f(x)T(y−x)+12m∥y−x∥2 f(y) = f(x) + \nabla f(x)^T(y-x)+\int_0^1\int_0^t(y-x)^T\nabla^2f(x+\alpha(y-x))(y-x)d\alpha dt\\ \text{ } \\ \ge f(x) + \nabla f(x)^T(y-x) + \frac 12 m\Vert y-x\Vert^2 f(y)=f(x)+f(x)T(yx)+010t(yx)T2f(x+α(yx))(yx)dαdt f(x)+f(x)T(yx)+21myx2
其中 mmmx,yx,yx,y 无关,因此对任意 y∈L(x0),y≠x0y\in L(x_0),y\neq x_0yL(x0),y̸=x0
f(y)−f(x0)≥∇f(x0)T(y−x0)+12m∥y−x0∥2 ≥−∥∇f(x0)∥⋅∥y−x0∥+12m∥y−x0∥2 f(y)-f(x_0) \ge \nabla f(x_0)^T(y-x_0)+\frac12m\Vert y-x_0\Vert^2 \\ \text{ } \\ \ge-\Vert\nabla f(x_0)\Vert\cdot\Vert y-x_0\Vert+\frac12m\Vert y-x_0\Vert^2 f(y)f(x0)f(x0)T(yx0)+21myx02 f(x0)yx0+21myx02
上式的第二个不等式是因为 Cauchy-Schwarz 不等式:∣xTy∣≤∥x∥⋅∥y∥\vert x^Ty\vert \le \Vert x\Vert\cdot \Vert y\VertxTyxy
又由于 f(y)≤f(x0)f(y)\le f(x_0)f(y)f(x0),故
∥y−x0∥≤2m∥∇f(x0)∥ \Vert y-x_0 \Vert \le \frac2m\Vert \nabla f(x_0) \Vert yx0m2f(x0)
这表明水平集 L(x0)={x∣x∈S,f(x)≤f(x0)}L(x_0)=\{x\vert x\in S,f(x)\le f(x_0)\}L(x0)={xxS,f(x)f(x0)} 有界。□\qquad\square

最后,作为函数凸性的一个应用,我们给出 Minkowski 不等式的证明。
Minkowski 不等式
∥x+y∥p≤∥x∥p+∥y∥p \Vert x+y \Vert_p\le \Vert x\Vert_p+\Vert y\Vert_p x+ypxp+yp

(∑i=1n∣xi+yi∣p)1/p≤(∑i=1n∣xi∣p)1/p+(∑i=1n∣yi∣p)1/p \left( \sum_{i=1}^n\vert x_i+y_i\vert^p\right)^{1/p}\le \left( \sum_{i=1}^n\vert x_i\vert^p\right)^{1/p}+\left( \sum_{i=1}^n\vert y_i\vert^p\right)^{1/p} (i=1nxi+yip)1/p(i=1nxip)1/p+(i=1nyip)1/p
其中,p≥1p\ge 1p1.


证明:
如果 xxxyyy 为零向量,则不等式显然成立。故假定 x≠0,y≠0x\neq 0,y\neq 0x̸=0,y̸=0.
p=1p=1p=1,由于 ∣xi+yi∣≤∣xi∣+∣yi∣,i=1,⋯&ThinSpace;,n\vert x_i+y_i\vert\le \vert x_i \vert+\vert y_i\vert, i=1,\cdots,nxi+yixi+yi,i=1,,n.
今设 p&gt;1p\gt 1p>1,考虑函数
ϕ(t)=tp,t&gt;0⇒ϕ′′(t)=p(p−1)tp−2 \phi(t)=t^p,\quad t\gt 0\\ \Rightarrow\phi&#x27;&#x27;(t)=p(p-1)t^{p-2} ϕ(t)=tp,t>0ϕ(t)=p(p1)tp2
故函数 ϕ(t)\phi(t)ϕ(t) 严格凸。注意到:
∥x∥p∥x∥p+∥y∥p+∥y∥p∥x∥p+∥y∥p=1 \frac{\Vert x\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}+\frac{\Vert y\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}=1 xp+ypxp+xp+ypyp=1
于是,由凸函数定义得到
(∥x∥p∥x∥p+∥y∥p∣xi∣∥x∥p+∥y∥p∥x∥p+∥y∥p∣yi∣∥y∥p)p ≤∥x∥p∥x∥p+∥y∥p(∣xi∣∥x∥p)p+∥y∥p∥x∥p+∥y∥p(∣yi∣∥y∥p)p \left(\frac{\Vert x\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\frac{|x_i|}{\Vert x\Vert_p}+\frac{\Vert y\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\frac{|y_i|}{\Vert y\Vert_p}\right)^p \\ \text{ } \\ \le \frac{\Vert x\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\left( \frac{|x_i|}{\Vert x\Vert_p}\right)^p + \frac{\Vert y\Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\left( \frac{|y_i|}{\Vert y\Vert_p}\right)^p (xp+ypxpxpxi+xp+ypypypyi)p xp+ypxp(xpxi)p+xp+ypyp(ypyi)p
因此
∑i=1n(∣xi+yi∣∥x∥p+∥y∥p)p≤∑i=1n(∣xi∣+∣yi∣∥x∥p+∥y∥p)p因为p次函数是凸函数,所以≤∑i=1n(∥x∥p∥x∥p+∥y∥p(∣xi∣∥x∥p)p+∥y∥p∥x∥p+∥y∥p(∣yi∣∥y∥p)p)≤∥x∥p∥x∥p+∥y∥p∑i=1n(∣xi∣∥x∥p)p+∥y∥p∥x∥p+∥y∥p∑i=1n(∣yi∣∥y∥p)p=∥x∥p∥x∥p+∥y∥p⋅∥x∥pp∥x∥pp+∥y∥p∥x∥p+∥y∥p⋅∥y∥pp∥y∥pp=1 \sum_{i=1}^n\left(\frac{\vert x_i+y_i\vert}{\Vert x\Vert_p+\Vert y\Vert_p} \right)^p\le \sum_{i=1}^n\left(\frac{\vert x_i\vert+\vert y_i\vert}{\Vert x\Vert_p+\Vert y\Vert_p} \right)^p \\ \color{red}{因为p次函数是凸函数,所以}\color{black}\\ \le \sum_{i=1}^n\left(\frac{\Vert x \Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p} \left(\frac{\vert x_i\vert}{\Vert x\Vert_p} \right)^p+\frac{\Vert y \Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p} \left(\frac{\vert y_i\vert}{\Vert y\Vert_p} \right)^p\right)\\ \le \frac{\Vert x \Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\sum_{i=1}^n \left(\frac{\vert x_i\vert}{\Vert x\Vert_p} \right)^p+\frac{\Vert y \Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\sum_{i=1}^n \left(\frac{\vert y_i\vert}{\Vert y\Vert_p} \right)^p \\ = \frac{\Vert x \Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\cdot\frac{\Vert x \Vert_p^p}{\Vert x \Vert_p^p}+\frac{\Vert y \Vert_p}{\Vert x\Vert_p+\Vert y\Vert_p}\cdot\frac{\Vert y \Vert_p^p}{\Vert y \Vert_p^p}=1 i=1n(xp+ypxi+yi)pi=1n(xp+ypxi+yi)ppi=1n(xp+ypxp(xpxi)p+xp+ypyp(ypyi)p)xp+ypxpi=1n(xpxi)p+xp+ypypi=1n(ypyi)p=xp+ypxpxppxpp+xp+ypypyppypp=1
这样,
∑i=1n∣xi+yi∣p≤(∥x∥p+∥y∥p)p \sum^n_{i=1}\vert x_i+y_i\vert^p\le (\Vert x\Vert_p +\Vert y \Vert_p)^p i=1nxi+yip(xp+yp)p
上式两边取p次根即得结果。□\qquad \square

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值