凸集
给定集合SSS,对任意元素x1x_1x1,x2x_2x2属于该集合SSS,若对于任意ϑ∈[0,1]\vartheta\in[0,1]ϑ∈[0,1],有x=ϑx1+(1−ϑ)x2x=\vartheta x_1+(1-\vartheta )x_2x=ϑx1+(1−ϑ)x2,xxx也在集合SSS中,则集合SSS是凸集。
以向量的角度来理解,就是点x1x_1x1、x2x_2x2在集合SSS中,两点的连线也在该集合中。


凸函数定义
f(x)f(x)f(x)为凸集SSS在上的函数,任意x1,x2x_1,x_2x1,x2∈S\in S∈S,任意λ∈(0,1)\lambda \in(0,1)λ∈(0,1) 若f(λx1+(1−λ)x2)≤λf(x1)+(1−λ)f(x2)f(\lambda x_1+(1-\lambda)x_2) \leq \lambda f(x_1)+(1-\lambda)f(x_2)f(λx1+(1−λ)x2)≤λf(x1)+(1−λ)f(x2) 恒成立,则f(x)f(x)f(x)为凸集SSS上的凸函数。当等号去掉时,是严格意思上的凸函数。
注: 线性函数既是凸函数也是凹函数。

凸函数判断
f(x)f(x)f(x)在凸集SSS上连续二阶可微,则f(x)f(x)f(x)为凸函数的充分必要条件为,二阶导f′′(x)>0f^{\prime \prime}(x)>0f′′(x)>0,对于多元函数,则Hassion矩阵为半正定矩阵。
凸函数的性质
琴生不等式
f(∑i=1nwixi)<=∑i=1nwif(xi)f(\sum_{i=1}^nw_ix_i) <= \sum_{i=1}^nw_if(x_i)f(i=1∑nwixi)<=i=1∑nwif(xi)
i=2i=2i=2时,由定义知是满足条件的,可由数学归纳法进行证明。
凸优化问题的局部最小是全局最小值
机器学习中将问题转化成凸优化问题后,便可以求解全局最小,这也是都希望所研究的问题是凸优化问题的原因。由图形可知,不会存在局部平衡点,存在则不是凸函数。
凸函数相加还是凸函数
f(x),g(x)f(x),g(x)f(x),g(x)都是凸集SSS上的凸函数,则y(x)=f(x)+g(x)y(x)=f(x)+g(x)y(x)=f(x)+g(x)也是凸函数。
Jessen不等式
f(x)f(x)f(x)为凸集SSS上的凸函数,E(x)E(x)E(x)为xxx的期望,则
f(E(x))≤E(f(x))f(E(x))\leq E(f(x))f(E(x))≤E(f(x))
参考博客
- https://blog.youkuaiyun.com/feilong_csdn/article/details/83476277 作者:feilong_csdn
- https://blog.youkuaiyun.com/u014170677/article/details/21873981 作者:滴水札记
2万+

被折叠的 条评论
为什么被折叠?



