Stanford convex optimization学习笔记【1】

【写在前面】：我之前有过一些运筹学的背景，凸优化的知识零零散散地也学了一些。但是在做项目时，突然还是被老师提醒得打好凸优化基础，所以打算从b站的Stanford convex optimization课程开始，慢慢从头开始学这方面的知识，开此贴作为笔记记录。中英文混杂因为部分内容直接摘抄讲义，所以大家谅解一下。作者本科学生，如有理解不到位之处请多加批评指正，重度拖延症患者，不定期更新，希望有感兴趣的读者私信一块合作！！

1.数学优化（Mathematical optimization）

我相信点进来的朋友对这个应该都不会陌生，就是在一定的限制（constraint）下，改变自变量的取值，找到使目标函数最小（或者最大）的组合。

$$\begin{array}{ll}\min & f_0(x)\\ \text{s.t.}& f_i(x)\le b_i,i=1,\dots ,m\end{array}$$
我们在对一个数学优化问题建模时，需要考虑的三大要素是，（决策）变量variable；约束 constraint；目标函数 objective

数学优化的例子在实际生活中非常常见，比如投资组合优化（portfolio optimization），数据拟合（data fitting）等，以数据拟合为例，其三大要素为

• variable：model parameters; 模型参数
• constraints: prior information, parameter limits; 先验信息，参数限制
• objective: measure of misfits or prediction error; 失拟误差或预测误差

2.数学优化问题的求解

通常非常难以求解（或者求解时间超出承受范围），通常可能是NP-hard（非多项式求解时间） 。

例外Exception：

• 最小二乘问题（least-squares problems）
• 线性规划问题（linear programming problems）
• 凸优化问题（convex optimization problems）

特别的，以上这些问题都有比较深入的研究和比较成熟的算法，也是当前对于数学优化问题的主要处理方式。

3.最小二乘问题

数学描述
$$\min ||Ax-b|{|}_2^2$$
（无约束的最小二乘相比于general 的优化问题就让人比较舒服呀）
求解

• analytical solution: x ⋆ = ( A T A ) − 1 A T b x^{\star}=(A^TA)^{-1}A^Tb x