约束优化方法
- 无约束优化
- 等式约束的最优性条件
- 不等式约束问题的最优性条件
- 一般约束问题的最优性条件
无约束优化 x∈RNx \in \mathbb{R}^{N}x∈RN
minxf(x)\min _{x} f(x) xminf(x) 有函数解析式时,由Fermat定理,对函数求导令其导数为零,即 ∇xf(x)=0\nabla_{x} f(x)=0∇xf(x)=0
无函数解析式时,可以通过梯度下降法,牛顿法等迭代方法使沿着负梯度方向下降逐步逼近极小点.
1\quad等式约束的最优性条件
minf(x)(1) \min f(x) \qquad(1) minf(x)(1) s.t. hi(x)=0,i=1,2,⋯ ,l \text { s.t. } \quad h_{i}(x)=0, i=1,2, \cdots, l s.t. hi(x)=0,i=1,2,⋯,l
定理1-1 (拉格朗日定理(KKT条件))假设x∗x^*x∗是问题(1)(1)(1)的局部极小点, f(x)f(x)f(x)和 hi(x∗)(i=1,2,…,l)h_i(x^*)(i=1,2,\dots,l)hi(x∗)(i=1,2,…,l)在x∗x^*x∗的某邻域内连续可微。若向量组∇hi(x∗)(i=1,2,…,l)\nabla h_{i}\left(x^{*}\right)(i=1,2,\dots,l)∇hi(x∗)(i=1,2,…,l)线性无关,则存在乘子向量λ∗=(λ1∗,λ2∗,⋯ ,λl∗)T\lambda^{*}=\left(\lambda_{1}^{*}, \lambda_{2}^{*}, \cdots, \lambda_{l}^{*}\right)^{T}λ∗=(λ1∗,λ2∗,⋯,λl∗)T,使得∇xL(x∗,λ∗)=0 \nabla_{x} L\left(x^{*}, \lambda^{*}\right)=0 ∇xL(x∗,λ∗)=0即∇f(x∗)−∑i=1lλi∗∇hi(x∗)=0 \nabla f\left(x^{*}\right)-\sum_{i=1}^{l} \lambda_{i}^{*} \nabla h_{i}\left(x^{*}\right)=0 ∇f(x∗)−i=1∑lλi∗∇hi(x∗)=0定理1-2   \;对于等式约束问题(1)(1)(1),假设f(x)f(x)f(x)和hi(x)(i=1,2,…,l)h_i(x)(i=1,2,\dots,l)hi(x)(i=1,2,…,l)都是二阶连续可微的,并且存在(x∗,λ∗)∈Rn×Rl\left(x^{*}, \lambda^{*}\right) \in \mathbb{R}^{n} \times \mathbb{R}^{l}(x∗,λ∗)∈Rn×Rl,使得∇L(x∗,λ∗)=0\nabla L\left(x^{*}, \lambda^{*}\right)=0∇L(x∗,λ∗)=0。若对任意的0≠d∈Rn,∇hi(x∗)Td=0  (i=1,2,…,l)0 \neq d \in \mathbb{R}^{n},\nabla h_{i}\left(x^{*}\right)^{T}d=0 \;(i=1,2,\dots,l)0̸=d∈Rn,∇hi(x∗)Td=0(i=1,2,…,l),,均有dT∇xx2L(x∗,λ∗)d>0d^{T} \nabla_{x x}^{2} L\left(x^{*}, \lambda^{*}\right) d>0dT∇xx2L(x∗,λ∗)d>0 则x∗x^*x∗是问题(1)(1)(1)的一个严格局部极小点.
2\quad不等式约束问题的最优性条件
minf(x)(2) \min f(x) \qquad(2) minf(x)(2) s.t. gi(x)≥0,i=1,2,⋯ ,m\text { s.t. } g_{i}(x) \geq 0, i=1,2, \cdots, m s.t. gi(x)≥0,i=1,2,⋯,m 记可行域为D={
x∈Rn∣gi(x)≥0,i=1,2,⋯ ,n}\mathcal{D}=\left\{x \in \mathbb{R}^{n} | g_{i}(x) \geq 0, i=1,2, \cdots, n\right\}D={
x∈Rn∣gi(x)≥0,i=1,2,⋯,n} ,指标集 I={
1,⋯ ,m}I=\{1, \cdots, m\}I={
1,⋯,m}
不等式约束问题的最优性条件需要用到有效约束和非有效约束的概念。对于一个可行点x‾\overline{x}x,即x‾∈D\overline{x} \in \mathcal{D}x∈D,此时可能会出现两种情形。即有效约束函数满足gi(x‾)=0g_{i}(\overline{x})=0gi(x)=0,而另一些约束函数满足gi(x‾)>0g_{i}(\overline{x})>0gi(x)>0,对于后一种情形,在x‾\overline{x}x的某一个领域内仍然保持gi(x‾)>0g_{i}(\overline{x})>0gi(x)>0成立,而前者不具备这种性质,因此有必要把这两种情形区分开来.
定义1   \;若问题(1)(1)(1)的一个可行点x‾∈D\overline{x} \in \mathcal{D}x∈D使得
gi(x‾)=0g_{i}(\overline{x})=0gi(x)=0,则称不等式约束gi(x)≥0g_{i}(x) \geq 0gi(x)≥0为x‾\overline{x}x有效约束,反之若有gi(x‾)>0g_{i}(\overline{x})>0gi(x)>0,则称不等式约束为gi(x)>0g_{i}(x) >0gi(x)>0的非有效约束。称集合
I(x‾)={
i:gi(x‾)=0} I(\overline{x})=\left\{i : g_{i}(\overline{x})=0\right\} I(x)={
i:gi(