凸优化学习-（十一）保持函数凸性的操作

凸优化学习

今天学习保持函数凸性的操作。

学习笔记

一、非负加权和。

形如：
$$若f_1\cdots f_m，则f\sum _{i=1}^m{w}_i{f}_i为凸w_i\ge 0,\forall i$$
或：
$$\begin{gathered} 若f(x,y)对任意y\in A,f(x,y)均为凸，且\forall y\in Aw(y)\ge 0,则 \\ g(x)={\int }_{y\in A}w(y)f(x,y)\text{d}y为凸 \end{gathered}$$
第二个其实就是无数凸函数非负加权和。需要说明的是，其中$f(x,y)$对于$x,y$是联合凸的，即$\text{jointly convex}$，对于$x$或$y$则不一定凸。

二、仿射映射

1.变量仿射

有凸函数f:Rn→R,则函数g(x)=f(Ax+b)为凸，其中A∈Rm×nb∈Rmdomg={Ax+b∈domf} 有凸函数f:R^n\rightarrow R,则函数g(x)=f(\textbf{A}x+b)为凸，其中\\ \textbf A \in R^{m×n}\quad b\in R^m\quad \text{dom}g=\lbrace\textbf Ax+b\in \text{dom}f\rbrace 有凸函数f:Rn→R,则函数g(x)=f(Ax+b)为凸，其中A∈Rm×nb∈Rmdomg={Ax+b∈domf}

2.函数仿射

$$若：f_i:R^n\to R,i=1,\cdots ,m为凸，则g(x)=A^T[f_1(x)\cdots f_m(x){]}^T+bA\in R^n,b\in R为凸。$$

三、多个凸函数的极大值函数为凸

形如：
f(x)=max⁡{fi(x)}i=1,⋯ ,n,fi(x)为凸函数 f(x)=\max \lbrace f_i(x)\rbrace\qquad i=1,\cdots,n,f_i(x)为凸函数 f(x)=max{fi​(x)}i=1,⋯,n,fi​(x)为凸函数
$f(x)$为凸函数，$\text{dom}f=\text{dom}{f}_1\cap \text{dom}{f}_2$
当$n\to +\infty$时，也可写为：
$$\begin{gathered} 若f(x,y)对x为凸函数，\forall y\in A则 \\ g=\underset{y\in A}{\sup }f(x,y)为凸函数 \end{gathered}$$
例1：
f(x)=max⁡{x2,x}f(x)=\max\lbrace x^2,x\rbracef(x)=max{x2,x}

例2：向量中r个最大元素和
形如：
f(x)=∑i=1rx[i]=max⁡{xi1+⋯+xir∣1≤i1≤⋯≤ir≤n} \begin{aligned} f(x) &=\sum^r_{i=1}x[i]\\ & =\max\lbrace x_{i_1}+\cdots+x_{i_r}\mid 1\le i_1\le\cdots\le i_r\le n\rbrace \end{aligned} f(x)​=i=1∑r​x[i]=max{xi1​​+⋯+xir​​∣1≤i1​≤⋯≤ir​≤n}​
其中$x[i]$是指排序第$i$大的元素。
这个问题等价于任意$r$个求和找最大，相当于极大值函数的仿射映射。
例3：实对称阵的最大特征值为凸
形如：
$$f(x)={\lambda }_{\max }(\text{X})\text{dom}f=S^m$$
是凸函数。
证明：
$设\lambda 为一个特征值，y为特征向量，有：$
X⋅y=λ⋅yyTXy=yTλy⇔yTXy=λ∥y∥22⇔λ=yTXyλ∥y∥22⇔λ=yTXy,∥y∥22=1时⇔λmax(X)=sup⁡{yTXy∣∥y∥22=1} \begin{aligned} & & \textbf X\cdot y&=\lambda\cdot y\\ & &y^T \textbf X y&=y^T\lambda y\\ \Leftrightarrow& & y^T \textbf X y&=\lambda\|y\|_2^2\\ \Leftrightarrow& &\lambda&=\frac{y^T \textbf X y}{\lambda\|y\|_2^2}\\ \Leftrightarrow& &\lambda&= y^T \textbf X y,\|y\|_2^2=1时\\ \Leftrightarrow& &\lambda_{max}(\textbf X)&=\sup\lbrace y^T\textbf X y\mid\|y\|_2^2=1\rbrace\\ \end{aligned} ⇔⇔⇔⇔​​X⋅yyTXyyTXyλλλmax​(X)​=λ⋅y=yTλy=λ∥y∥22​=λ∥y∥22​yTXy​=yTXy,∥y∥22​=1时=sup{yTXy∣∥y∥22​=1}​

四、函数组合

八条结论很重要，需要判断函数凸性的时候勤查询。
形如：
f(x)=h(g(x))domf={x∈domg∣g(x)∈domh}h:Rk→Rg:Rn→Rkf:h∘g:Rn→R f(x)=h\big(g(x)\big)\qquad \text{dom}f=\lbrace x\in\text{dom}g\mid g(x)\in \text{dom} h\rbrace\\ h:R^k\rightarrow R\qquad g:R^n\rightarrow R^k\qquad f:h\circ g:R^n\rightarrow R f(x)=h(g(x))domf={x∈domg∣g(x)∈domh}h:Rk→Rg:Rn→Rkf:h∘g:Rn→R
1°.设所有函数二阶可微
$$f^{\prime \prime }(x)=h^{\prime \prime }(g(x))g^{\prime }(x{)}^2+h^{\prime }(g(x))g^{\prime \prime }(x)$$
有如下四条结论：
$$\begin{array}{rlrl}f凸& & \iff & 1.h为凸，不降，g为凸\\ & & & 2.h为凸，不增，g为凹\\ f凹& & \iff & 3.h为凹，不降，g为凹\\ & & & 4.h为凹，不增，g为凸\end{array}$$
2°.设所有函数二阶不可微
$$\begin{array}{rlrl}f凸& & \iff & 5.h为凸，\tilde{h}不降，g为凸\\ & & & 6.h为凸，\tilde{h}不增，g为凹\\ f凹& & \iff & 7.h为凹，\tilde{h}不降，g为凹\\ & & & 8.h为凹，\tilde{h}不增，g为凸\end{array}$$
例1：
若$g$为凸，exp⁡{g(x)}\exp\lbrace g(x)\rbraceexp{g(x)}为凸。
利用准则1判断即可。
例2：
若$g$为凹，$g>0$，$\log (g(x))$为凹。
利用准则7判断即可。
例3：
若$g$为凹，$g>0,\frac{1}{g(x)}$为凸。

个人思考

八个准则要使用好，个人总结遇到函数凸性判断步骤：
1.先判断定义域是不是凸集。
2.通过函数组合判断。
3.通过定义判断。

纸质笔记