数值优化综述

基本概念

数值优化问题的一般形式如下：
minx⃗f0(x⃗)s.t.fi(x⃗)≤0,i∈I={ 1,2,…,m}hi(x⃗)=0,i∈E={ 1,2,…,p}x⃗∈Rn \begin{aligned} min_{\vec{x}} &\quad f_{0}(\vec{x}) \\ s.t. &\quad f_{i}(\vec{x}) \leq 0, i\in\mathcal{I}=\{1,2,\dots,m\} \\ &\quad h_{i}(\vec{x}) = 0, i\in\mathcal{E}=\{1,2,\dots,p\} \\ &\quad \vec{x}\in R^{n} \end{aligned} minx ​s.t.​f0​(x )fi​(x )≤0,i∈I={ 1,2,…,m}hi​(x )=0,i∈E={ 1,2,…,p}x ∈Rn​
其中，$f_0(\vec{x})$称为优化目标或目标函数（objective），$\vec{x}$称为决策变量（variables），{ fi(x⃗)∣i∈I}\{f_{i}(\vec{x})|i\in\mathcal{I}\}{ fi​(x )∣i∈I}称为不等式约束函数，{ hi(x⃗)∣i∈E}\{h_{i}(\vec{x})|i\in\mathcal{E}\}{ hi​(x )∣i∈E}称为等式约束函数，两者合称为约束函数。其他形式的数值优化问题均可等价转化为上述形式。

向量$\vec{x}$为可行解，当且仅当，x⃗∈Rn,fi(x⃗)≤0,∀i∈I,hi(x⃗)=0,∀i∈E\vec{x}\in R^{n}, f_{i}(\vec{x}) \leq 0, \forall i\in\mathcal{I}, h_{i}(\vec{x}) = 0, \forall i\in\mathcal{E}