一、凸集
1.1 凸集的相关定义
- 凸集定义:
x
1
,
x
2
∈
C
⇒
θ
x
1
+
(
1
−
θ
)
x
2
∈
C
,
∀
0
≤
θ
≤
1
x_1,x_2\in C \Rightarrow\theta x_1+(1-\theta)x_2 \in C,\forall 0 \leq \theta \leq 1
x1,x2∈C⇒θx1+(1−θ)x2∈C,∀0≤θ≤1
- 形式化定义:集合C中的任意两点所连接的线段都在C内,则C为凸集。
- 凸包定义: x = θ 1 x 1 + θ 2 x 2 + . . . + θ k x k , 1 = θ 1 + θ 2 + . . . + θ k x=\theta_1x_1+\theta_2x_2+...+\theta_kx_k,1=\theta_1+\theta_2+...+\theta_k x=θ1x1+θ2x2+...+θkxk,1=θ1+θ2+...+θk,点 x i x_i xi称为凸组合。
- 仿射包:
S
为
R
n
的
子
集
,
{
x
∣
x
=
θ
1
+
θ
2
+
.
.
.
+
θ
k
,
x
k
∈
S
,
θ
1
+
θ
2
+
.
.
.
+
θ
k
=
1
}
S为R^n的子集,\{x|x=\theta_1+\theta_2+...+\theta_k,x_k\in S,\theta_1+\theta_2+...+\theta_k=1\}
S为Rn的子集,{x∣x=θ1+θ2+...+θk,xk∈S,θ1+θ2+...+θk=1}
- 凸锥:
x
=
θ
1
x
1
+
θ
2
x
2
,
θ
1
>
0
,
θ
2
>
0
x=\theta_1x_1+\theta_2x_2,\theta_1>0,\theta_2>0
x=θ1x1+θ2x2,θ1>0,θ2>0,则
x
1
,
x
2
x_1,x_2
x1,x2称为锥组合,集合
S
S
S中任意点的锥组合都在
S
S
S中,则
S
S
S为凸锥。
1.2重要的凸集
1.2.1 超平面、半空间
- 超平面: { x ∣ a T x = b } \{x|a^Tx=b\} {x∣aTx=b},是放射集、凸集
- 半空间:
{
x
∣
a
T
x
≤
b
}
\{x|a^Tx\leq b\}
{x∣aTx≤b},是凸集
1.2.2 球、椭球、锥
- 球: B ( x c , r ) = { x ∣ ∣ ∣ x − x c ∣ ∣ 2 ≤ r } = { x c + r u ∣ ∣ ∣ u ∣ ∣ 2 ≤ 1 } B(x_c,r)=\{x|||x-x_c||_2\leq r\}=\{x_c+ru| ||u||_2 \leq 1\} B(xc,r)={x∣∣∣x−xc∣∣2≤r}={xc+ru∣∣∣u∣∣2≤1}
- 椭球:
{
x
∣
(
x
−
x
c
)
T
P
−
1
(
x
−
x
c
)
≤
1
}
\{x|(x-x_c)^TP^{-1}(x-x_c)\leq 1\}
{x∣(x−xc)TP−1(x−xc)≤1}
- P ∈ S + + n P\in S_{++}^n P∈S++n是对称正定
- 范数球: { x ∣ ∣ ∣ x − x c ∣ ∣ ≤ r } \{x|||x-x_c||\leq r\} {x∣∣∣x−xc∣∣≤r}
- 范数锥: { ( x , t ) ∣ ∣ ∣ x ∣ ∣ ≤ t } \{(x,t)|||x||\leq t\} {(x,t)∣∣∣x∣∣≤t}
1.3 保凸运算
- 任意多个凸集的交为凸集,即若 C i , i ∈ L C_i,i\in L Ci,i∈L是凸集, ⋂ i ∈ L C i \bigcap_{i \in L}{C_i} ⋂i∈LCi
- f : R n → R m f:\R^n \rightarrow \R^m f:Rn→Rm,凸集在 f f f下的像是凸集,原像也是凸集。
1.4 分离超平面定理
- 分离超平面: C 、 D C、D C、D是两个不相交的凸集,存在非零向量 a a a和常数 b b b,使得 a T x ≤ b , ∀ x ∈ C , 且 a T x ⩾ b , ∀ x ∈ D a^Tx\leq b ,\forall x\in C, 且a^Tx\geqslant b,\forall x\in D aTx≤b,∀x∈C,且aTx⩾b,∀x∈D,则 { x ∣ a T x = b } \{x|a^Tx=b\} {x∣aTx=b}分离了C、D。
- 支撑超平面:集合
C
C
C的边界点
x
0
x_0
x0,若
a
≠
0
a\neq 0
a=0,且
a
T
x
≤
a
T
x
0
,
∀
x
∈
C
a^Tx\leq a^Tx_0,\forall x\in C
aTx≤aTx0,∀x∈C,则
{
x
∣
a
T
x
=
a
T
x
0
}
\{x|a^Tx=a^Tx_0\}
{x∣aTx=aTx0}为在C在边界点
x
0
x_0
x0的超平面。
- 直观意义:超平面与集合C在点 x 0 x_0 x0出相切的半空间。
- 支撑超平面定理: C C C是凸集,则 C C C的任意边界点都有支撑超平面。
二、凸函数
2.1 凸函数定义
- 凸函数定义:
d
o
m
f
dom f
domf是凸集,且
f
(
θ
x
+
(
1
−
θ
)
y
)
≤
θ
f
(
x
)
+
(
1
−
θ
)
f
(
y
)
f(\theta x+(1-\theta)y)\leq \theta f(x)+(1-\theta)f(y)
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)。
- 几何意义:任意两点的线段都在函数图像的上方
- 严格凸函数: d o m f dom f domf是凸集,且 f ( θ x + ( 1 − θ ) y ) < θ f ( x ) + ( 1 − θ ) f ( y ) f(\theta x+(1-\theta)y)< \theta f(x)+(1-\theta)f(y) f(θx+(1−θ)y)<θf(x)+(1−θ)f(y)。
- 强凸函数:
- 存在常数 m > 0 m>0 m>0,使得 g ( x ) = f ( x ) − m 2 ∣ ∣ x ∣ ∣ 2 g(x)=f(x)-\frac{m}{2}||x||^2 g(x)=f(x)−2m∣∣x∣∣2为凸函数,则 f ( x ) f(x) f(x)为强凸函数。
- 存在常数 m > 0 m>0 m>0,使得对任意 x , y ∈ d o m f , 以 及 θ ∈ ( 0 , 1 ) x,y \in dom f,以及\theta\in(0,1) x,y∈domf,以及θ∈(0,1),有 f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) − m 2 θ ( 1 − θ ) ∣ ∣ x − y ∣ ∣ 2 f(\theta x+(1-\theta)y)\leq \theta f(x)+(1-\theta)f(y) -\frac{m}{2}\theta(1-\theta)||x-y||^2 f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)−2mθ(1−θ)∣∣x−y∣∣2
2.2 凸函数判定定理
- 定理: f ( x ) f(x) f(x)是凸函数当且仅当对任意的 x ∈ d o m f , v ∈ R n , g : R → R x\in dom f,v\in \R^n,g:\R \rightarrow \R x∈domf,v∈Rn,g:R→R,则 g ( t ) = f ( x + t v ) , d o m g = { t ∣ x + t v ∈ d o m f } g(t)=f(x+tv),dom g = \{t|x + tv \in dom f\} g(t)=f(x+tv),domg={t∣x+tv∈domf}是凸函数。
- 一阶条件: f ( y ) ⩾ f ( x ) + ∇ f ( x ) T ( y − x ) , ∀ x , y ∈ d o m f f(y)\geqslant f(x)+\nabla f(x)^T(y-x),\forall x,y \in dom f f(y)⩾f(x)+∇f(x)T(y−x),∀x,y∈domf
- 梯度单调性:
f
为
可
微
函
数
,
则
f
为
凸
函
数
当
且
仅
当
d
o
m
f
为
凸
集
且
∇
f
f为可微函数,则f为凸函数当且仅当dom f为凸集且\nabla f
f为可微函数,则f为凸函数当且仅当domf为凸集且∇f为单调映射,
(
∇
f
(
x
)
−
∇
f
(
y
)
)
T
(
x
−
y
)
⩾
0
,
∀
x
,
y
∈
d
o
m
f
(\nabla f(x)-\nabla f(y))^T(x-y) \geqslant0,\forall x,y \in dom f
(∇f(x)−∇f(y))T(x−y)⩾0,∀x,y∈domf
- 严格凸函数: ( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) > 0 , ∀ x , y ∈ d o m f (\nabla f(x)-\nabla f(y))^T(x-y) >0,\forall x,y \in dom f (∇f(x)−∇f(y))T(x−y)>0,∀x,y∈domf
- m-强凸函数: ( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ⩾ m ∣ ∣ x − y ∣ ∣ 2 , ∀ x , y ∈ d o m f (\nabla f(x)-\nabla f(y))^T(x-y) \geqslant m||x-y||^2,\forall x,y \in dom f (∇f(x)−∇f(y))T(x−y)⩾m∣∣x−y∣∣2,∀x,y∈domf
- 二阶条件:设 f 为定义在凸集上的二阶连续可微函数,则 f 是凸函数当且仅当 ∇ 2 f ( x ) ⪰ 0 , ∀ x ∈ d o m f \nabla^2f(x) \succeq0,\forall x \in dom f ∇2f(x)⪰0,∀x∈domf
2.3 保凸的运算
- 定理:
- f f f是凸函数,则 a f af af是凸函数, a ⩾ 0 a\geqslant0 a⩾0
- f 1 , f 2 f_1,f_2 f1,f2是凸函数,则 f 1 + f 2 f_1+f_2 f1+f2是凸函数
- f 1 , f 2 , . . . , f m f_1,f_2,...,f_m f1,f2,...,fm是凸函数,则 f ( x ) = m a x { f 1 ( x ) , f 2 ( x ) , . . . , f m ( x ) } f(x)=max\{f_1(x),f_2(x),...,f_m(x)\} f(x)=max{f1(x),f2(x),...,fm(x)}是凸函数。
2.4 凸函数的性质
- 连续性:凸函数在定义域中内点处是连续的。
- f ( x ) = { 0 , x < 0 1 , x = 0 f\left( x \right) =\begin{cases} 0,x<0\\ 1,x=0\\ \end{cases} f(x)={0,x<01,x=0,虽然其为凸函数,但是在点 x = 0 x=0 x=0处不连续。
- 凸下水平集合: f ( x ) f(x) f(x)是凸函数,则 f ( x ) f(x) f(x)所有的a-下水平集 C a C_a Ca为凸集。
- 二次下界:强凸函数具有二次下界性质
- 二次下界: f ( x ) f(x) f(x)是参数为 m m m的可微强凸函数,则下述成立 f ( y ) ⩾ f ( x ) + ∇ f ( x ) T ( y − x ) + m 2 ∣ ∣ y − x ∣ ∣ 2 , ∀ x , y ∈ d o m f f(y)\geqslant f(x)+\nabla f(x)^T(y-x)+\frac{m}{2}||y-x||^2,\forall x,y \in dom f f(y)⩾f(x)+∇f(x)T(y−x)+2m∣∣y−x∣∣2,∀x,y∈domf
- 设 f 为可微强凸函数,则 f 的所有 α-下水平集有界.