凸优化理论（1）

最近被迫学习了凸优化理论，感觉还是有点东西的，个人感觉机器学习的内核就是优化，如果该优化问题还能转成或者近似成凸优化那将是一个巨大的突破，因为凸函数的性质非常优秀，（拟）凸优化的理论研究也已经比较成熟。不过遗憾的是，我们的非凸优化问题理论尚不完，而在现在这个深度学习开始野蛮生成的时间点，显然非凸问题更加常见。不过非凸近似或者转换为凸问题也不失为一个不错的策略，所以凸优化理论的重要性不言而喻，特此对最近的学习作一记录，由于刚刚入门，如有错误，还请批评指正。

凸函数定义

关于凸函数的定义，个人总结了2种定义：
1、如果函数$f$的上镜图$epif$为凸集则，函数$f$为凸函数。（来自于convex analysis）
这里又引申出2个问题，什么是函数上镜图；凸集是什么？
首先，凸集的定义,对于集合S，如果满足：
$$\forall x,y\in S,\lambda \in [0,1],\lambda x+(1-\lambda )y\in S$$
则S为凸集。直观的理解就是凸集内的点通过加法和乘法无法逃出这个集合；或者说 $x,y$ 2个点构成的线段上任意一点还在该集合内。

然后关于什么是上镜图这个问题我也还没有搞清楚，留作标记。百度上说是值大于函数值的点构成的区域为该函数的上镜图，但关于convex analysis这本书上的定义还是有点搞不懂。

2、第二种定义直接数学表达式比较粗暴。首先函数 f:S→Rf: S\rightarrow R