凸优化相关概念

凸集

定义：

其几何意义表示为：如果集合C中任意2个元素连线上的点也在集合C中，则C为凸集。其示意图如下所示：

 

凸函数

定义：

其几何意义表示为函数任意两点连线上的值大于对应自变量处的函数值，示意图如下：

 

仿射函数

仿射函数即由 1 阶多项式构成的函数，一般形式为f(x)=Ax+b

 

线性函数

线性函数是过原点的仿射函数，一般形式为f(x)=Ax

 

凸优化

定义：

“凸优化” 是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。

其中，目标函数为凸函数且定义域为凸集的优化问题称为无约束凸优化问题。

而目标函数和不等式约束函数均为凸函数，等式约束函数为仿射函数，并且定义域为凸集的优化问题为约束优化问题。

对于凸优化问题来说，局部最优解就是全局最优解。

常见的凸优化问题：线性规划、二次规划、二次约束二次规划等

 

线性规划

定义：

其中那个不常见的奇怪符号表示按元素小于等于，比如左边和右边都是一个矩阵或向量。

线性规划是研究线性约束条件下线性目标函数的最小值问题的数学理论和方法。

 

二次规划

定义：

二次规划是研究线性约束条件下二次凸函数的最小值问题的数学理论和方法。

 

二次约束二次规划

定义：

二次约束二次规划的目标函数和不等式约束函数都是二次凸函数。