本文深入探讨了拉格朗日算子在优化问题中的应用，包括如何通过构造对偶函数来转换约束优化问题，展示了对偶问题的性质及其与原问题的关系。重点讲解了强弱对偶性、互补松弛条件以及KKT条件在求解过程中的关键作用。
前言
优化问题两个重点：逼近（插值或者泰勒） 以及 对偶
1. 拉格朗日算子
对于一般优化问题，不需要是凸
min
f
0
(
x
)
x
∈
R
n
s
.
t
.
f
i
(
x
)
≤
0
,
i
=
1
,
⋯
,
m
,
h
j
(
x
)
=
0
,
j
=
1
,
⋯
,
l
,
\begin{aligned} \min \quad & f_0(\boldsymbol x) \quad \boldsymbol x \in \mathbb R^n \\ \mathrm{s.t.} \quad & f_i(\boldsymbol x) \leq 0, \quad i=1,\cdots,m, \\ & h_j(\boldsymbol x) = 0, \quad j =1,\cdots, l, \end{aligned}
mins.t.f0(x)x∈Rnfi(x)≤0,i=1,⋯,m,hj(x)=0,j=1,⋯,l,
我们希望没有约束，将约束写到目标函数上
L
(
x
,
λ
,
v
)
=
f
0
(
x
)
+
∑
λ
i
f
i
(
x
)
+
∑
v
i
h
i
(
x
)
L(x,\lambda,v)=f_0(x)+\sum \lambda_i f_i(x)+\sum v_i h_i(x)
L(x,λ,v)=f0(x)+∑λifi(x)+∑vihi(x)
L
L
L被称为拉格朗日算子
2. 对偶函数
g
(
λ
,
v
)
=
i
n
f
x
∈
D
L
(
x
,
λ
.
v
)
g(\lambda,v)=inf_{x\in D}L(x,\lambda.v)
g(λ,v)=infx∈DL(x,λ.v)
没有约束，仅是在x的定义域上取关于x最小值。
如果
λ
≥
0
\lambda \geq 0
λ≥0,则
g
(
λ
,
v
)
≤
p
∗
g(\lambda,v)\leq p^*
g(λ,v)≤p∗
对于一个可行的
x
x
x,and
λ
≥
0
\lambda \geq 0
λ≥0.
f
0
(
x
)
≥
L
(
x
,
λ
,
v
)
≥
i
n
f
x
L
(
x
,
λ
,
v
)
=
g
(
λ
,
v
)
f_0(x)\geq L(x,\lambda,v)\geq inf_x L(x,\lambda ,v)=g(\lambda ,v)
f0(x)≥L(x,λ,v)≥infxL(x,λ,v)=g(λ,v)
3. 对偶问题
max
λ
,
v
g
(
λ
,
v
)
s
.
t
.
λ
≥
0
\begin{aligned} \max _{\lambda,v} \quad & g(\lambda ,v) \\ \mathrm{s.t.} \quad & \lambda \geq 0 \\ \end{aligned}
λ,vmaxs.t.g(λ,v)λ≥0
对偶问题是凸问题！提供了原问题最优解的一个下界。
分析：
i
n
f
x
L
(
x
,
λ
,
v
)
=
g
(
λ
,
v
)
inf_x L(x,\lambda ,v)=g(\lambda ,v)
infxL(x,λ,v)=g(λ,v) ，给定一个
λ
\lambda
λ与
v
v
v，对
x
x
x取极小,(关于
x
x
x梯度为0)。
4. 强弱对偶性
4.1 对偶性
对偶问题最优值
d
∗
d^*
d∗
原问题最优值
p
∗
p^*
p∗
弱对偶：
d
∗
≤
p
∗
d^* \leq p^*
d∗≤p∗
强对偶:
d
∗
=
p
∗
d^* = p^*
d∗=p∗
凸问题是强对偶！
4.2 互补松弛
假设强对偶，互补松弛条件
x
∗
x^*
x∗是原问题最优解
(
λ
∗
,
v
∗
)
(\lambda^*,v^*)
(λ∗,v∗)是对偶问题最优解
f
0
(
x
∗
)
=
g
(
λ
∗
,
v
∗
)
=
i
n
f
x
(
f
0
(
x
)
+
∑
λ
i
∗
f
i
(
x
)
+
∑
v
i
∗
h
i
(
x
)
)
≤
f
0
(
x
∗
)
+
∑
λ
i
∗
f
i
(
x
∗
)
+
∑
v
i
∗
h
i
(
x
∗
)
f_0(x^*)=g(\lambda^*,v^*)=inf_x(f_0(x)+\sum \lambda^*_i f_i(x)+\sum v^*_i h_i(x))\\ \leq f_0(x^*)+\sum \lambda^*_i f_i(x^*)+\sum v^*_i h_i(x^*)
f0(x∗)=g(λ∗,v∗)=infx(f0(x)+∑λi∗fi(x)+∑vi∗hi(x))≤f0(x∗)+∑λi∗fi(x∗)+∑vi∗hi(x∗)
==>
λ
i
f
i
(
x
∗
)
=
0
\lambda_i f_i(x^*)=0
λifi(x∗)=0
5. kkt条件
- 原问题可行 f i ( x ) ≤ 0 , h i ( x ) = 0 f_i(x)\leq 0,h_i(x)=0 fi(x)≤0,hi(x)=0
- 对偶可行 λ > = 0 \lambda >=0 λ>=0
- 互补松弛 λ i f i ( x ∗ ) = 0 \lambda_i f_i(x^*)=0 λifi(x∗)=0
- 梯度为0 关于x
∇ f 0 ( x ) + ∑ λ i f i ( x ) + ∑ v i h i ( x ) = 0 \nabla f_0(x)+\sum \lambda_i f_i(x)+\sum v_i h_i(x)=0 ∇f0(x)+∑λifi(x)+∑vihi(x)=0
未完。。。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
