凸优化第三章凸函数 3.4 拟凸函数

最新推荐文章于 2023-02-24 05:26:37 发布

使君杭千秋

最新推荐文章于 2023-02-24 05:26:37 发布

阅读量5k

点赞数 4

分类专栏：凸优化

本文链接：https://blog.youkuaiyun.com/hyl1181/article/details/111304077

版权

凸优化专栏收录该内容

62 篇文章

订阅专栏

3.4 拟凸函数

定义及例子
基本性质
可微拟凸函数
保拟凸运算
通过一族凸函数进行表示

定义及例子

定义

函数 $f:R^n\rightarrow R$ 称为拟凸函数，如果其定义域和所有下水平集 $S_\alpha =\left \{ x\in dom(f) |f(x)\leq \alpha \right \},\alpha \in R$ ，都是凸集。

如果f(x)是拟凸函数，则-f(x)是拟凹函数。拟凹函数：每个上水平集均为凸集。如果一个函数既是拟凸函数又是拟凹函数，其为拟线性函数。

如上图， $S_\alpha=[a,b],S_\beta=(-\infty ,c]$ ，两个下水平集均为凸集。

而上图， $S_a=[c,d]\cup [e,g],S_b=[h,i]$ ，显然 S_a 不是凸集，f(x)不是拟凸函数。

结论：凸函数具有凸的下水平集，即凸函数也是拟凸函数，但从第一个图可以看出拟凸函数未必是凸函数。

对于上下水平集是否是凸集的判断，主要在于区间是否连续。

例子

$\sqrt{|X|}$ 是拟凸函数，可以看出对任意的 $\alpha$ ，下水平集是凸集，而上水平集不是凸集。

log(x)是拟线性函数，从下图可以看出，可以看出对任意的 $\alpha$ ，下水平集上水平集都是凸集。

f(x_1,x_2)=x_1x_2 在 $R_{++}^2$ 上是拟凹函数，因为其上水平集是凸集。

线性分式 $f(x)=\frac{a^Tx+b}{c^Tx+d},dom(f)=\left \{ x|c^Tx+d>0 \right \}$ 也是拟线性函数，因为其下水平集

$S_\alpha =\left \{ x|c^Tx+d>0,(a^Tx+b)/(c^Tx+d)\leq \alpha \right \} =\left \{ x|c^Tx+d>0,(a^Tx+b)\leq \alpha(c^Tx+d) \right \} =\left \{ x|c^Tx+d>0,(a^T-\alpha c^T)x\leq \alpha d-b \right \}$

可以看出其下水平集是一个开半平面 c^Tx+d>0 和闭半平面 $(a^T-\alpha c^T)x\leq \alpha d-b$ 的交集，是凸集。

ceil(x)的上水平集合下水平集均为凸集，故ceil(x)为拟线性函数。

距离比函数：

$a,b\in R^n,f(x)=\frac{||x-a||_2}{||x-b||_2},dom(f)=\left \{ x|\, \, ||x-a||_2\leq ||x-b||_2 \right \}$ ，是拟凸函数，根据定义域可知 $f(x)\leq 1$ ，因此 $\forall \alpha >1$ 其对应的下水平集跟 $\alpha=1$ 一样，故只需证明 $\alpha \leq 1$ 时，其对应下水平集为凸集，

$S_\alpha =\left \{ x\in dom(f)|\, \, ||x-a||_2\leq \alpha||x-b||_2 \right \}$

$||x-a||_2\leq \alpha||x-b||_2$

对上述式子两边去平方，得到

$(x-a)^T(x-a)\leq \alpha (x-b)^T(x-b)$

整理得到：

$(1-\alpha^2)x^Tx-2(a-\alpha^2b)^Tx+a^Ta-\alpha^2 b^Tb\leq 0\, \, \, \, (1)$

现证明 $S_\alpha$ 为凸集：

$\forall x_1,x_2 \in S_\alpha,\forall \theta \in[0,1],x^{'}=\theta x_1+(1-\theta )x_2$

现证 $x^{'}\in S_a$ ，即满足(1)，将其代入(1)，得到：

$(1-\alpha^2)(\theta x_1+(1-\theta)x_2)^T(\theta x_1+(1- \theta)x_2)-2(a-\alpha^2b)^T(\theta x_1+(1- \theta)x_2)+a^Ta-\alpha^2 b^Tb\leq 0$

整理左边：

$(1-\alpha^2)(\theta x_1+(1-\theta)x_2)^T(\theta x_1+(1- \theta)x_2)-2(a-\alpha^2b)^T(\theta x_1+(1- \theta)x_2)+a^Ta-\alpha^2 b^Tb$

$=(1-\alpha^2)\left\{\theta^2 x_1^Tx_1+(1-\theta)^2x_2^Tx_2+2\theta(1-\theta)x_1^Tx_2\right\}-2(a-\alpha^2b)^T\theta x_1-2(a-\alpha^2b)^T(1- \theta)x_2+a^Ta-\alpha^2 b^Tb$

$=(1-\alpha^2)\left\{\theta^2 x_1^Tx_1+\theta x_1^Tx_1-\theta x_1^Tx_1+(1-\theta)x_2^Tx_2-(1-\theta) x_2^Tx_2+(1-\theta)^2x_2^Tx_2+2\theta(1-\theta)x_1^Tx_2\right \}-2(a-\alpha^2b)^T\theta x_1-2(a-\alpha^2b)^T(1- \theta)x_2+a^Ta-\alpha^2 b^Tb$

$=(1-\alpha^2)\left\{\theta^2 x_1^Tx_1-\theta x_1^Tx_1-(1-\theta) x_2^Tx_2+(1-\theta)^2x_2^Tx_2+2\theta(1-\theta)x_1^Tx_2\right \}+(1-\alpha^2)\theta x_1^Tx_1-2(a-\alpha^2b)^T\theta x_1+(1-\alpha^2)(1-\theta)x_2^T x_2-2(a-\alpha^2b)^T(1- \theta)x_2+a^Ta-\alpha^2 b^Tb$

$=(1-\alpha^2)\left\{\theta^2 x_1^Tx_1-\theta x_1^Tx_1-(1-\theta) x_2^Tx_2+(1-\theta)^2x_2^Tx_2+2\theta(1-\theta)x_1^Tx_2\right \}+(1-\alpha^2)\theta x_1^Tx_1-2(a-\alpha^2b)^T \theta x_1+(1-\alpha^2)(1-\theta)x_2^T x_2-2(a-\alpha^2b)^T(1- \theta)x_2+\theta( a^Ta-\alpha^2 b^Tb)+(1-\theta) (a^Ta-\alpha^2 b^Tb)$

$=(1-\alpha^2)\left\{\theta^2 x_1^Tx_1-\theta x_1^Tx_1-(1-\theta) x_2^Tx_2+(1-\theta)^2x_2^Tx_2+2\theta(1-\theta)x_1^Tx_2\right \}+\theta{\color{Red} \left\{ (1-\alpha^2) x_1^Tx_1-2(a-\alpha^2b)^T x_1+a^Ta-\alpha^2 b^Tb\right\}}+(1- \theta){\color{Red} \left\{(1-\alpha^2)x_2^T x_2-2(a-\alpha^2b)^Tx_2+a^Ta-\alpha^2 b^Tb\right\}}$

由于 $x_1,x_2\in S_\alpha$ ，故 x_1,x_2 满足（1），故上式红色部分均小于等于0，故

$(1-\alpha^2)\left\{\theta^2 x_1^Tx_1-\theta x_1^Tx_1-(1-\theta) x_2^Tx_2+(1-\theta)^2x_2^Tx_2+2\theta(1-\theta)x_1^Tx_2\right \}+\theta{\color{Red} \left\{ (1-\alpha^2) x_1^Tx_1-2(a-\alpha^2b)^T x_1+a^Ta-\alpha^2 b^Tb\right\}}+(1- \theta){\color{Red} \left\{(1-\alpha^2)x_2^T x_2-2(a-\alpha^2b)^Tx_2+a^Ta-\alpha^2 b^Tb\right\}}$

$\leq (1-\alpha^2)\left\{\theta^2 x_1^Tx_1-\theta x_1^Tx_1-(1-\theta) x_2^Tx_2+(1-\theta)^2x_2^Tx_2+2\theta(1-\theta)x_1^Tx_2\right \}$

$= (1-\alpha^2)\left\{(\theta^2-\theta) x_1^Tx_1+((1-\theta)^2-(1-\theta)) x_2^Tx_2+2\theta(1-\theta)x_1^Tx_2\right \}$

$=(1-\alpha^2)\left\{\theta(\theta-1) x_1^Tx_1+(1-\theta)((1-\theta)-1) x_2^Tx_2+2\theta(1-\theta)x_1^Tx_2\right \}$

$=(1-\alpha^2)\left\{\theta(\theta-1) x_1^Tx_1-(1-\theta)\theta x_2^Tx_2+2\theta(1-\theta)x_1^Tx_2\right \}$

$=(1-\alpha^2)\theta(1-\theta) (-x_1^Tx_1-x_2^Tx_2+2x_1^Tx_2)\leq 0$

故

$x^{'}=\theta x_1+(1-\theta) x_2\in S_\alpha$ , $S_\alpha$ 为凸集(事实上是-一个Euclid球)，函数为拟凸函数。

基本性质

修正的Jensen不等式

函数f是拟凸函数的充分必要条件是：dom(f)是凸集，且

$\forall x,y\in dom(f),\forall \theta \in[0,1],$ 有 $f(\theta x+(1-\theta)y)\leq max\left \{ f(x),f(y) \right \}$

即线段中任意一点的函数值不超过其端点函数值中最大的那个。

R上的拟凸函数

连续函数 $f:R^n\rightarrow R$ 是拟凸的，当且仅当下述条件至少有一个成立：

f是非减的
f是非增的
$\exists c\in dom(f),\forall t \leq c,t\in dom(f)$ ，f非增， $\forall t\geq c,t\in dom(f)$ ，f非减。

可微拟凸函数

一阶条件

设函数 $f:R^n\rightarrow R$ 可微，则函数f是拟凸函数的充要条件，dom(f)是凸集，且

$\forall x,y\in dom(f),f(y)\leq f(x)\Rightarrow \bigtriangledown ^Tf(x)(y-x)\leq 0$

几何上，表示在每个 $\bigtriangledown f(x)$ 在点x处定义了水平集 $\left \{ y|f(y)\leq f(x) \right \}$ 的一个支撑超平面。

多个拟凸函数的和不一定是拟凸函数。

二阶条件

假设函数 $f:R^n\rightarrow R$ 二阶可微。

如果函数f为拟凸函数，则对任意的 $y\in dom(f),y\in R^n$ 有： $y^{T} \nabla f(x)=0 \Rightarrow y^{T} \nabla^{2} f(x) y \geq 0$ ；

对于定义在R上的拟凸函数，上述条件可以简化为条件： $f^{\prime}(x)=0 \Longrightarrow f^{\prime \prime}(x) \geq 0$ ；反之不成立(对部分条件成立，即如下)。

如果对于任意 $y\in dom(f),y\in R^n$ ，函数f满足： $y^{T} \nabla f(x)=0=y^{T} \nabla^{2} f(x) y>0$ ，则函数f为拟凸函数。

保拟凸运算

非负加权最大

拟凸函数的非负加权最大定义为： $\math f=\max \left\{w_{1} f_{1}, \ldots, w_{m} f_{m}\right\}$

其中 $\math w_{i} \geqslant 0, f_{i}$ 是拟凸函数。上述定义的函数f是拟凸函数。

此性质可以扩展到一般的逐点上确界，即： $g(x)=\underset{y\in C}{sup}\ (w(y)g(x,y))$

其中 $\math w(y) \geqslant 0$ ，固定任意y，g(x,y)关于x是拟凸函数。

复合

（1）如果函数 $\math g: \mathbf{R}^{n} \rightarrow \mathbf{R}$ 是拟凸函数，且函数 $\math h: \mathbf{R} \rightarrow \mathbf{R}$ 是非减的，则复合函数 $\math f=h \circ g$ 是拟凸函数。

（2）如果函数 $\math g: \mathbf{R}^{n} \rightarrow \mathbf{R}$ 是拟凹函数，且函数 $\math h: \mathbf{R} \rightarrow \mathbf{R}$ 是非增的，则复合函数 $\math f=h \circ g$ 是拟凸函数。

简单证明（在二维空间证明，多维同理）：

已知 f(x)=h(g(x))

f'(x)=h'(g(x))g'(x)

若 f'(x) 为拟凸函数，则满足一阶条件： $f(y)\leq f(x)\Rightarrow f'(x)(y-x)\leq 0$

即： $h(g(y))\leq h(g(x))\Rightarrow h'(g(x)){\color{Red} g'(x)(y-x)\leq 0}$

观察到红色部分为即为g(x)的一阶条件的右边。

若 $g(y)\leq g(x)$ ，则 $h'(x) \geqslant 0$ ，即函数h非减，那么 $g'(x)(y-x)\leq 0$ ，故（1）得证；

同理可以证明（2）。

（3）拟凸函数和一个仿射函数或者线性分式函数进行复合可以得到拟凸函数。

如果函数f是拟凸函数，则 $\math g(x)=f(Ax+b)$ 是拟凸函数，且函数 $\math g(x)=f\left((A x+b) /\left(c^{T} x+d\right)\right)$ 在集合： $\left\{x \mid c^{T} x+d>0,(A x+b) /\left(c^{T} x+d\right) \in \operatorname{dom} f\right\}$ 上也是拟凸函数。

最小化

如果函数 $\math f(x, y)$ 是x和y的联合拟凸函数，且C是凸集，则函数： $g(x)=\underset{y\in C}{inf}\ f(x,y)$ 是拟凸函数。

通过一族凸函数进行表示

选择一族凸函数 $\phi _t:R^n\rightarrow R,t \in R$ ，t是凸函数的编号，这些函数满足：

$f(x)\leq t\Leftrightarrow \phi _t(x)\leq 0$ ，即拟凸函数的t下水平集是凸函数 $\phi _t$ 的0下水平集。显然，对于任意 $x \in R^n$ ，函数 $\phi _t$ 必须满足：当 $s\geqslant t$ 时， $\phi_{t}(x) \leqslant 0 \Longrightarrow \phi_{s}(x) \leqslant 0$ 。为了满足中国条件，要求对于每个， $\phi _t(x)$ 都是的非增函数，即对任意 $s \geqslant t$ 总有 $\phi_{s}(x) \leqslant \phi_{t}(x)$ ，那么可以用一族凸函数不等式表示拟凸函数的下水平集。