什么是凸函数

1.定义

• 对于函数f(x)，如果其定义域domf是凸的，且对于∀x,y∈domf，0≤θ≤1， 有 
  

  f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
  
  则，f(x)是凸函数。

• 例： 
  仿射函数：ax+b 
  指数函数：eax 
  幂函数：xα(其中，x∈R++, α>1 或α<0) 
  绝对值幂函数：|x|p, p≥1 
  其他：xlogx, x∈R++

• 凹函数实例: 
  仿射函数：ax+b 
  幂函数：xα(其中，x∈R++, 0≤α≤1)

2.凸函数判定条件

• 2.1 一阶充要条件 
  
  f(y)≥f(x)+∇f(x)T(y−x)
• 2.2 二阶充要条件 
  
  ∇2f(x)⪰0
• 2.3 Jensen不等式 
  若f(x)是凸函数，则对0≤θ≤1, 有 
  
  f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
  
  进一步可得： 
  
  f(Ex)≤Ef(x)

3.凸运算

• 非负线性组合(nonnegative weighted sum) 
  若f(x)凸，则数乘 αf, (α≥0) 和加法 f1+f2 对凸集封闭

• 仿射组合函数(composition with affine function) 
  若f(x)凸，则f(Ax+b)凸

• 最大值和极值(pointwise maximum and supremum) 
  若f1,f2,...,fn凸，则 
  

  f(x)=max{f1(x),f2(x),...,fn(x)}
  
  也为凸函数

• 复合函数(composition) 
  若g:Rn→R，h:R→R，则对于复合函数 
  

  f(x)=h(g(x))
  
  若g凸，h凸且非减，有f凸； 
  若g凹，h凸且非增，有f凸； 
  例： 
  当g(x)为凸函数时，exp{g(x)}为凸函数 
  当g(x)为凹函数且为正时，1g(x)为凸函数

4.共轭函数

• 定义： 
  函数f(x)的共轭函数为： 
  
  f∗(y)=supx∈domf(yTx−f(x))
  
  共轭函数有一个非常特别的性质，在对偶问题中有着非常重要的应用。这个性质就是： 
  无论f(x)是否为凸函数，其共轭函数都为凸函数

5.拟凸函数

• 对于函数f(x)，若其定义域以及水平子集
  Sα={x|f(x)≤α}
  对于任意的α都为凸集，则f(x)为拟凸函数。
• 实例： 
  |x|−−√，logx

6.log-concave函数

• 定义 
  对于正函数f(x)， 如果logf(x)是凹函数，则f(x)是log-concave函数，即对0≤θ≤1，有
  f(θx+(1−θ)y)≥f(x)θf(y)1−θ
• 实例： 
  正态分布函数是log-concave