约束极值问题的最优性条件
约束级值问题
其中gi(x)≥0称为不等式约束,hj(x)=0称为等式约束。
集合S={x∣gi(x)≥0,i=1,⋯,m;hj(x)=0,j=1,⋯,l}称为可行集或可行域。
可行方向与下降方向
下降方向
若∃δ>0, ∀λ∈(0,δ), f(x¯+λd)<f(x¯),则称d为
f(x) 在x¯处的下降方向。若f(x)可微,∇f(x¯)d<0,则d为
f(x) 在x¯处的下降方向。可行方向
设S⊂Rn,x¯∈clS,d≠0,若∃δ>0, ∀λ∈(0,δ), x¯+λd∈S,则称d为
S 在x¯处的可行方向。D={d∣d≠0,x∈clS,∃δ>0,∀λ∈(0,δ),x¯+λd∈S}称为在x¯处的可行方向锥。
不等式约束问题的一阶最优性条件
Fritz John条件
设x¯∈S, I={i∣gi(x¯)=0}, f,
gi(i∈I) 在x¯处可微,gi(i∈I)在x¯处连续。
若x¯是局部最优解,则存在不全为0的非负数w0,wi(i∈I) ,使得
w0∇f(x¯)−∑i∈Iwi∇gi(x¯)=0
x¯称为Fritz John点。Karush-Kuhn-Tucker(KKT)条件
设x¯∈S, I={i∣gi(x¯)=0}, f,
gi(i∈I) 在x¯处可微,gi(i∈I)在x¯处连续,{∇gi(x¯)∣i∈I}线性无关。
若x¯是局部最优解,则存在非负数wi(i∈I),使得
∇f(x¯)−∑i∈Iwi∇gi(x¯)=0
x¯称为KKT点。若gi(i∉I)在x¯可微,则KKT条件等价
⎧⎩⎨∇f(x¯)−∑i∈Iwi∇gi(x¯)=0,wigi(x¯)=0,i=1,⋯,m,wi≥0,i=1,⋯,m.
wigi(x¯)=0称为互补松弛条件。
一般约束问题的一阶最优性条件
Fritz John条件
设x¯∈S, I={i∣gi(x¯)=0}, f,
gi(i∈I) 在x¯处可微,gi(i∈I)在x¯处连续,hj(j=1,⋯,l)在点x¯连续可微。
若x¯是局部最优解,则存在不全为0的非负数w0,wi(i∈I) 和vj(j=1,⋯,l),使得
w0∇f(x¯)−∑i∈Iwi∇gi(x¯)−∑j=1lvj∇hj(x¯)=0
x¯称为Fritz John点。Karush-Kuhn-Tucker(KKT)条件
设x¯∈S, I={i∣gi(x¯)=0}, f,
gi(i∈I) 在x¯处可微,gi(i∈I)在x¯处连续,hj(j=1,⋯,l)在点x¯连续可微,{∇gi(x¯),∇hj(x¯)∣i∈I,j=1,⋯,l}线性无关。
若x¯是局部最优解,则存在非负数wi(i∈I)和vj(j=1,⋯,l),使得
∇f(x¯)−∑i∈Iwi∇gi(x¯)−∑j=1lvj∇hj(x¯)=0
x¯称为KKT点。若gi(i∉I)在x¯可微,则KKT条件等价
⎧⎩⎨⎪⎪∇f(x¯)−∑i∈Iwi∇gi(x¯)−∑lj=1vj∇hj(x¯)=0,wigi(x¯)=0,i=1,⋯,m,wi≥0,i=1,⋯,m.
wigi(x¯)=0称为互补松弛条件。Lagrange函数
L(x,w,v)=f(x)−∑i=1mwigi(x)−∑j=1lvjhj(x)
若x¯是局部最优解,则存在Lagrange乘子w¯¯¯≥0和v¯,使得
∇xL(x¯,w¯¯¯,v¯)=0一般情形的一阶必要条件(KKT必要条件)可表示为
⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∇xL(x,w,v)=0wigi(x)=0,gi(x)≥0,hj(x)=0,wi≥0,i=1,2,⋯,mi=1,2,⋯,mj=1,2,⋯,li=1,2,⋯,m凸规划的充分条件
f是凸函数,
gi(i=1,⋯,m) 是凹函数,hj(j=1,⋯,l)是线性函数,可行域为S,x¯∈S , I={i∣gi(x¯)=0},且在x¯处KKT必要条件成立,则x¯是全局最优解。
二阶条件
切锥
设非空集合S∈Rn,点x¯∈clS,
T={d∣∃x(k)∈S,x(k)→x及λk>0,d=limk→∞(x(k)−x¯)}
T称为集合S 在点x¯的切锥(tangent cone)或序列
化可行方向锥(sequential feasible cone)。设确定集合S的所有约束函数在
x∈S 处连续可微,则D(x,S)⊆SFD(x,S),其中D(x,S)为x点的可行方向锥,SFD(x,S) 为x点的切锥。
定义S¯¯=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪x∣x∈Rngi(x)=0,gi(x)≥0,hi(x)=0,i∈I,wi¯¯¯¯>0i∈I,wi¯¯¯¯=0j=1,⋯,l⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪
设S¯¯在点x¯的切锥为T。
定义G¯¯¯=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪d∣d∈Rn∇gi(x¯)d=0,∇gi(x¯)d≥0,∇hi(x¯)d=0,i∈I,wi¯¯¯¯>0i∈I,wi¯¯¯¯=0j=1,⋯,l⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪
则G¯¯¯⊇T¯¯¯。二阶必要条件
设x¯是局部最优解,f,
gi(i=1,⋯,m) 和hj(j=1,⋯,l)二次连续可微,并存在满足一般情形的一阶必要条件的乘子w¯¯¯=(w1¯¯¯¯,⋯,wm¯¯¯¯¯)和v=(v1¯¯¯,⋯,vl¯¯¯)。
设点x¯的约束规格G¯¯¯=T¯¯¯成立,则∀d∈G¯¯¯,有
dT∇2xL(x¯,w¯¯¯,v¯)d≥0
即L在点x¯ 关于x的Hesse矩阵∇2xL(x¯,w¯¯¯,v¯)=∇2f(x¯)−∑mi=1wi¯¯¯¯∇2gi(x¯)−∑lj=1vj¯¯¯∇2hj(x¯) 是在G¯¯¯上半正定的。二阶充分条件
设f,
gi(i=1,⋯,m) 和hj(j=1,⋯,l)二次连续可微,x¯为可行点,存在满足一般情形的一阶必要条件的乘子w¯¯¯=(w1¯¯¯¯,⋯,wm¯¯¯¯¯)和v=(v1¯¯¯,⋯,vl¯¯¯),且∀d∈G¯¯¯,有
dT∇2xL(x¯,w¯¯¯,v¯)d>0
则x是严格局部最优解。
考虑下列非线性规划问题(可行域如图中的弧
判断下列各点是否为局部最优解:
解:目标函数f(x)=x1及约束函数g(x)=3(x1−3)2+x2, h(x)=(x1−3)2+x22−10的梯度分别为
Lagrange函数是L(x,w,v)=x1−w[3(x1−3)2+x2]−v[(x1−3)2+x22−10]
(1) x(1)是可行点,两个约束均为起作用约束。
KKT条件为
方程组无解,故x(1)不是KKT点,不是局部最优解。
(2) x(2)是可行点,两个约束均为起作用约束。
KKT条件为
解得w=319, v=138,x(2)是KKT点,问题在x(2)满足一阶必要条件。
在此点Lagrange函数的Hesse矩阵
求集合G¯¯¯中的元素,由于w>0,
解方程组{∇g(x(2))Td=0∇h(x(2))Td=0,其中d=(d1,d2)T,即
{6d1+d2=02d1−6d2=0,解得d=(0,0)T。
方向集G={d∣d≠0,∇g(x(2))Td=0,∇h(x(2))Td=0}=∅,
故x(2)是局部最优解。
P239