凸优化笔记

基本概念

凸优化问题具有如下形式：

$$min f_0(x) \\ subject to f_i(x) \le b_i,i=1,...,m$$ 其中，函数 $f_0,...,f_m:R^n \rightarrow R$为凸函数，即对任意 $x,y \in R^n,\alpha,\beta\in R$且 $\alpha+\beta=1,\alpha\ge0,\beta\ge0$这些函数满足 $$f_i(\alpha x+\beta y)\le \alpha f_i(x)+\beta f_i(y)$$

凸优化的常见的特殊形式有：最小二乘问题和线性规划问题。

最小二乘问题是这样一类优化问题，它没有约束条件（即m=0）,目标函数是若干项的平方和，每一项具有形式$x_i^Ta-y_i$,具体形式如下：

$$min f_0(x)=||Xa-Y||^2_2=\sum_{i=1}^{i=K}(x_i^T-y_i)^2$$ 其中， $X\in R^{k*n}(k\ge n),x_i^T$是矩阵 $X$的行向量，向量 $a\in R^n$是优化变量。
在多输入多输出中， $y_i=a_{1i}x_1+a_{2i}x_2+...+a_{ni}x_n$或 $$y^T=x^TA$$ 其中， $y^T=[y_1,...,y_p],x^T=[x_1,...,x_p]^T$