[笔记] 最优化方法 - 最优性条件

本文介绍了约束极值问题的最优性条件,包括Fritz John条件、Karush-Kuhn-Tucker(KKT)条件、Lagrange函数及其在不同约束下的应用。探讨了一阶和二阶最优性条件,并通过具体实例进行验证。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

约束极值问题的最优性条件

约束级值问题

mins.t.f(x),xRngi(x)0,i=1,,m,hi(x)=0,j=1,,l.

其中gi(x)0称为不等式约束hj(x)=0称为等式约束
集合S={xgi(x)0,i=1,,m;hj(x)=0,j=1,,l}称为可行集或可行域。

可行方向与下降方向

  • 下降方向

    δ>0, λ(0,δ), f(x¯+λd)<f(x¯),则称df(x)x¯处的下降方向

    f(x)可微,f(x¯)d<0,则df(x)x¯处的下降方向。

  • 可行方向

    SRnx¯clSd0,若δ>0, λ(0,δ), x¯+λdS,则称dSx¯处的可行方向

    D={dd0,xclS,δ>0,λ(0,δ),x¯+λdS}称为在x¯处的可行方向锥

不等式约束问题的一阶最优性条件

mins.t.f(x),xRngi(x)0,i=1,,m.
  • Fritz John条件

    x¯S, I={igi(x¯)=0}, f, gi(iI)x¯处可微,gi(iI)x¯处连续。
    x¯是局部最优解,则存在不全为0的非负数w0,wi(iI),使得

    w0f(x¯)iIwigi(x¯)=0

    x¯称为Fritz John点。
  • Karush-Kuhn-Tucker(KKT)条件

    x¯S, I={igi(x¯)=0}, f, gi(iI)x¯处可微,gi(iI)x¯处连续,{gi(x¯)iI}线性无关
    x¯是局部最优解,则存在非负数wi(iI),使得

    f(x¯)iIwigi(x¯)=0

    x¯称为KKT点。

    gi(iI)x¯可微,则KKT条件等价

    f(x¯)iIwigi(x¯)=0,wigi(x¯)=0,i=1,,m,wi0,i=1,,m.

    wigi(x¯)=0称为互补松弛条件

一般约束问题的一阶最优性条件

mins.t.f(x),xRngi(x)0,i=1,,m,hi(x)=0,j=1,,l.
  • Fritz John条件

    x¯S, I={igi(x¯)=0}, f, gi(iI)x¯处可微,gi(iI)x¯处连续,hj(j=1,,l)在点x¯连续可微
    x¯是局部最优解,则存在不全为0的非负数w0,wi(iI)vj(j=1,,l),使得

    w0f(x¯)iIwigi(x¯)j=1lvjhj(x¯)=0

    x¯称为Fritz John点。
  • Karush-Kuhn-Tucker(KKT)条件

    x¯S, I={igi(x¯)=0}, f, gi(iI)x¯处可微,gi(iI)x¯处连续,hj(j=1,,l)在点x¯连续可微,{gi(x¯),hj(x¯)iI,j=1,,l}线性无关
    x¯是局部最优解,则存在非负数wi(iI)vj(j=1,,l),使得

    f(x¯)iIwigi(x¯)j=1lvjhj(x¯)=0

    x¯称为KKT点。

    gi(iI)x¯可微,则KKT条件等价

    f(x¯)iIwigi(x¯)lj=1vjhj(x¯)=0,wigi(x¯)=0,i=1,,m,wi0,i=1,,m.

    wigi(x¯)=0称为互补松弛条件
  • Lagrange函数

    L(x,w,v)=f(x)i=1mwigi(x)j=1lvjhj(x)

    x¯是局部最优解,则存在Lagrange乘子w¯¯¯0v¯,使得
    xL(x¯,w¯¯¯,v¯)=0
  • 一般情形的一阶必要条件(KKT必要条件)可表示为

    xL(x,w,v)=0wigi(x)=0,gi(x)0,hj(x)=0,wi0,i=1,2,,mi=1,2,,mj=1,2,,li=1,2,,m
  • 凸规划的充分条件

    f是凸函数,gi(i=1,,m)是凹函数,hj(j=1,,l)是线性函数,可行域为Sx¯S, I={igi(x¯)=0},且在x¯处KKT必要条件成立,则x¯是全局最优解。

二阶条件

  • 切锥

    设非空集合SRn,点x¯clS

    T={dx(k)S,x(k)xλk>0,d=limk(x(k)x¯)}

    T称为集合S在点x¯切锥(tangent cone)或序列
    化可行方向锥(sequential feasible cone)。

    设确定集合S的所有约束函数在xS处连续可微,则D(x,S)SFD(x,S),其中D(x,S)x点的可行方向锥,SFD(x,S)x点的切锥。
    定义S¯¯=xxRngi(x)=0,gi(x)0,hi(x)=0,iI,wi¯¯¯¯>0iI,wi¯¯¯¯=0j=1,,l
    S¯¯在点x¯的切锥为T
    定义G¯¯¯=ddRngi(x¯)d=0,gi(x¯)d0,hi(x¯)d=0,iI,wi¯¯¯¯>0iI,wi¯¯¯¯=0j=1,,l
    G¯¯¯T¯¯¯

  • 二阶必要条件

    x¯是局部最优解,f, gi(i=1,,m)hj(j=1,,l)二次连续可微,并存在满足一般情形的一阶必要条件的乘子w¯¯¯=(w1¯¯¯¯,,wm¯¯¯¯¯)v=(v1¯¯¯,,vl¯¯¯)
    设点x¯的约束规格G¯¯¯=T¯¯¯成立,则dG¯¯¯,有

    dT2xL(x¯,w¯¯¯,v¯)d0

    L在点x¯关于xHesse矩阵2xL(x¯,w¯¯¯,v¯)=2f(x¯)mi=1wi¯¯¯¯2gi(x¯)lj=1vj¯¯¯2hj(x¯)是在G¯¯¯上半正定的。
  • 二阶充分条件

    f, gi(i=1,,m)hj(j=1,,l)二次连续可微,x¯为可行点,存在满足一般情形的一阶必要条件的乘子w¯¯¯=(w1¯¯¯¯,,wm¯¯¯¯¯)v=(v1¯¯¯,,vl¯¯¯),且dG¯¯¯,有

    dT2xL(x¯,w¯¯¯,v¯)d>0

    x是严格局部最优解。

考虑下列非线性规划问题(可行域如图中的弧ABCD):

mins.t.x1,3(x13)2+x20,(x13)2+x2210=0.

判断下列各点是否为局部最优解:
x(1)=[23],x(2)=[43],x(3)=[3+100],x(4)=[3100].

解:目标函数f(x)=x1及约束函数g(x)=3(x13)2+x2, h(x)=(x13)2+x2210的梯度分别为
f(x)=[10],g(x)=[6(x13)1],h(x)=[2(x13)2x2].

Lagrange函数是L(x,w,v)=x1w[3(x13)2+x2]v[(x13)2+x2210]
xL=[16w(x13)2v(x13)w2vx2],2xL=[6w2v002v].

(1) x(1)是可行点,两个约束均为起作用约束。

f(x(1))=[10],g(x(1))=[61],h(x(1))=[26].

KKT条件为
1+6w+2v=0w+6v=0w0

方程组无解,故x(1)不是KKT点,不是局部最优解。

(2) x(2)是可行点,两个约束均为起作用约束。

f(x(1))=[10],g(x(1))=[61],h(x(1))=[26].

KKT条件为
16w2v=0w+6v=0w0

解得w=319, v=138x(2)是KKT点,问题在x(2)满足一阶必要条件。
在此点Lagrange函数的Hesse矩阵
2xL(x(2),w,v)=100119

求集合G¯¯¯中的元素,由于w>0
解方程组{g(x(2))Td=0h(x(2))Td=0,其中d=(d1,d2)T,即
{6d1+d2=02d16d2=0,解得d=(0,0)T
方向集G={dd0,g(x(2))Td=0,h(x(2))Td=0}=
x(2)是局部最优解。
P239
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值