约束优化方法

本文详细介绍了约束优化问题的最优性条件,包括等式约束、不等式约束以及一般约束问题的KKT条件。通过拉格朗日定理和Farkas引理,阐述了局部极小点的判定准则,并讨论了凸优化问题中KKT点与全局极小点的关系。

约束优化方法

  • 无约束优化
  • 等式约束的最优性条件
  • 不等式约束问题的最优性条件
  • 一般约束问题的最优性条件

无约束优化 x∈RNx \in \mathbb{R}^{N}xRN
min⁡xf(x)\min _{x} f(x) xminf(x) 有函数解析式时,由Fermat定理,对函数求导令其导数为零,即 ∇xf(x)=0\nabla_{x} f(x)=0xf(x)=0
无函数解析式时,可以通过梯度下降法,牛顿法等迭代方法使沿着负梯度方向下降逐步逼近极小点.

1\quad等式约束的最优性条件

min⁡f(x)(1) \min f(x) \qquad(1) minf(x)(1) s.t. hi(x)=0,i=1,2,⋯ ,l \text { s.t. } \quad h_{i}(x)=0, i=1,2, \cdots, l  s.t. hi(x)=0,i=1,2,,l
定理1-1 (拉格朗日定理(KKT条件))假设x∗x^*x是问题(1)(1)(1)的局部极小点, f(x)f(x)f(x)hi(x∗)(i=1,2,…,l)h_i(x^*)(i=1,2,\dots,l)hi(x)(i=1,2,,l)x∗x^*x的某邻域内连续可微。若向量组∇hi(x∗)(i=1,2,…,l)\nabla h_{i}\left(x^{*}\right)(i=1,2,\dots,l)hi(x)(i=1,2,,l)线性无关,则存在乘子向量λ∗=(λ1∗,λ2∗,⋯ ,λl∗)T\lambda^{*}=\left(\lambda_{1}^{*}, \lambda_{2}^{*}, \cdots, \lambda_{l}^{*}\right)^{T}λ=(λ1,λ2,,λl)T,使得∇xL(x∗,λ∗)=0 \nabla_{x} L\left(x^{*}, \lambda^{*}\right)=0 xL(x,λ)=0∇f(x∗)−∑i=1lλi∗∇hi(x∗)=0 \nabla f\left(x^{*}\right)-\sum_{i=1}^{l} \lambda_{i}^{*} \nabla h_{i}\left(x^{*}\right)=0 f(x)i=1lλihi(x)=0定理1-2   \;对于等式约束问题(1)(1)(1),假设f(x)f(x)f(x)hi(x)(i=1,2,…,l)h_i(x)(i=1,2,\dots,l)hi(x)(i=1,2,,l)都是二阶连续可微的,并且存在(x∗,λ∗)∈Rn×Rl\left(x^{*}, \lambda^{*}\right) \in \mathbb{R}^{n} \times \mathbb{R}^{l}(x,λ)Rn×Rl,使得∇L(x∗,λ∗)=0\nabla L\left(x^{*}, \lambda^{*}\right)=0L(x,λ)=0。若对任意的0≠d∈Rn,∇hi(x∗)Td=0  (i=1,2,…,l)0 \neq d \in \mathbb{R}^{n},\nabla h_{i}\left(x^{*}\right)^{T}d=0 \;(i=1,2,\dots,l)0̸=dRn,hi(x)Td=0(i=1,2,,l),,均有dT∇xx2L(x∗,λ∗)d>0d^{T} \nabla_{x x}^{2} L\left(x^{*}, \lambda^{*}\right) d>0dTxx2L(x,λ)d>0x∗x^*x是问题(1)(1)(1)的一个严格局部极小点.

2\quad不等式约束问题的最优性条件

min⁡f(x)(2) \min f(x) \qquad(2) minf(x)(2) s.t. gi(x)≥0,i=1,2,⋯ ,m\text { s.t. } g_{i}(x) \geq 0, i=1,2, \cdots, m  s.t. gi(x)0,i=1,2,,m 记可行域为D={ x∈Rn∣gi(x)≥0,i=1,2,⋯ ,n}\mathcal{D}=\left\{x \in \mathbb{R}^{n} | g_{i}(x) \geq 0, i=1,2, \cdots, n\right\}D={ xRngi(x)0,i=1,2,,n} ,指标集 I={ 1,⋯ ,m}I=\{1, \cdots, m\}I={ 1,,m}
不等式约束问题的最优性条件需要用到有效约束和非有效约束的概念。对于一个可行点x‾\overline{x}x,即x‾∈D\overline{x} \in \mathcal{D}xD,此时可能会出现两种情形。即有效约束函数满足gi(x‾)=0g_{i}(\overline{x})=0gi(x)=0,而另一些约束函数满足gi(x‾)>0g_{i}(\overline{x})>0gi(x)>0,对于后一种情形,在x‾\overline{x}x的某一个领域内仍然保持gi(x‾)>0g_{i}(\overline{x})>0gi(x)>0成立,而前者不具备这种性质,因此有必要把这两种情形区分开来.

定义1   \;若问题(1)(1)(1)的一个可行点x‾∈D\overline{x} \in \mathcal{D}xD使得
gi(x‾)=0g_{i}(\overline{x})=0gi(x)=0,则称不等式约束gi(x)≥0g_{i}(x) \geq 0gi(x)0x‾\overline{x}x有效约束,反之若有gi(x‾)>0g_{i}(\overline{x})>0gi(x)>0,则称不等式约束为gi(x)>0g_{i}(x) >0gi(x)>0非有效约束。称集合
I(x‾)={ i:gi(x‾)=0} I(\overline{x})=\left\{i : g_{i}(\overline{x})=0\right\} I(x)={ i:gi(

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值