【Numerical Optimization】1 基础引入 （Jorge Nocedal 学习笔记）

由于专业方面需要用到各种数值优化的算法，所以最近在学习 Jorge Nocedal 的 《Numerical Optimization》。下面写到的，算是我的学习笔记，应该不会涉及版权问题，算是我自己的总结，也可以与大家讨论分享。

---

数值优化基础

1. 数学基础

所谓优化问题，其实就是（在一定约束条件下）寻找目标方程最小/最大值过程中求解参数的问题，其通用模型如下：

• $x$ 为变量向量（vector of variables）也就是未知参数（unknowns or parameters）
• $f$ 是目标函数（objective functions），即要求解其最大/最小值
• $c_i$ 是约束函数（constraint functions），包含等式及不等式约束式（关于 $x$ 的），用来规定可行域（feasible region）

$$\mathop {\min }\limits_{x \in {R^n}} f(x), subject.to \begin{array}{*{20}{c}} {{c_i}(x) = 0,i \in \varepsilon }\\ {{c_i}(x) \ge 0,i \in \iota } \end{array}$$

其中 $\varepsilon$ 与 ι