本文探讨了无约束与约束优化问题，包括等式与不等式约束，通过引入拉格朗日乘子法求解，并详细解析了KKT条件的应用。
Case 1：无约束的优化命题
比如
(1)minJ=x12+x22+x32+x42
\min J=x_{1}^{2}+x_{2}^{2}+x_{3}^{2}+x_{4}^{2} \tag{1}
minJ=x12+x22+x32+x42(1)
目标函数的最小值为 000，且各变量取值为 000
Case 2：带一个等式约束的优化命题
(2)(1) s.t. x1+x2+x3+x4=1
(1)\ \ s.t.\ \ x_{1}+x_{2}+x_{3}+x_{4}=1 \tag{2}
(1) s.t. x1+x2+x3+x4=1(2)
可以转化为
minJ‾=x12+x22+x32+x42+λ(1−x1−x2−x3−x4)s.t. x1+x2+x3+x4=1
\begin{array}{c}{\min \overline{J}=x_{1}^{2}+x_{2}^{2}+x_{3}^{2}+x_{4}^{2}+\lambda\left(1-x_{1}-x_{2}-x_{3}-x_{4}\right)} \\ s.t. \ \ {x_{1}+x_{2}+x_{3}+x_{4}=1}\end{array}
minJ=x12+x22+x32+x42+λ(1−x1−x2−x3−x4)s.t. x1+x2+x3+x4=1
其中 λ\lambdaλ 为拉格朗日乘子，KKT条件退化为目标函数的导数为 000
∂J‾∂x=(2x1−λ2x2−λ2x3−λ2x4−λ)=(0000)
\frac{\partial \overline{J}}{\partial x}=\left( \begin{array}{c}{2 x_{1}-\lambda} \\ {2 x_{2}-\lambda} \\ {2 x_{3}-\lambda} \\ {2 x_{4}-\lambda}\end{array}\right)=\left( \begin{array}{l}{0} \\ {0} \\ {0} \\ {0}\end{array}\right)
∂x∂J=⎝⎜⎜⎛2x1−λ2x2−λ2x3−λ2x4−λ⎠⎟⎟⎞=⎝⎜⎜⎛0000⎠⎟⎟⎞
可以得到问题的解为
x1=x2=x3=x4=14 and J=14
x_{1}=x_{2}=x_{3}=x_{4}=\frac{1}{4} \text { and } J=\frac{1}{4}
x1=x2=x3=x4=41 and J=41
Case 3：一个等式加一个不等式约束的优化命题
(3)(2) s.t. x4≤A
(2)\ \\s.t. \ \ x_{4} \leq A \tag{3}
(2) s.t. x4≤A(3)
可以转化为：J‾=x12+x22+x32+x42+λ(1−x1−x2−x3−x4)+μ(x4−A)
\overline{J}=x_{1}^{2}+x_{2}^{2}+x_{3}^{2}+x_{4}^{2}+\lambda\left(1-x_{1}-x_{2}-x_{3}-x_{4}\right)+\mu\left(x_{4}-A\right)
J=x12+x22+x32+x42+λ(1−x1−x2−x3−x4)+μ(x4−A)对应的KKT条件为∂J‾∂x=0x1+x2+x3+x4=1x4≤Aμ≥0μ(x4−A)=0
\begin{array}{c}{\frac{\partial \overline{J}}{\partial x}=0} \\ {
x_{1}+x_{2}+x_{3}+x_{4}=1
} \\ {x_{4} \leq A} \\ {\mu \geq 0} \\ {\mu\left(x_{4}-A\right)=0}\end{array}
∂x∂J=0x1+x2+x3+x4=1x4≤Aμ≥0μ(x4−A)=0
考虑标准化问题
minf(x)s.t. gj(x)=0,j=1,...,mhk(x)=0,k=1,...,p
minf(x)\\ s.t. \ \ g_j(x)=0, j=1,...,m \\h_k(x)=0,k=1,...,p
minf(x)s.t. gj(x)=0,j=1,...,mhk(x)=0,k=1,...,p
定义拉格朗日函数为
L(x,{λj},{μk})=f(x)+∑j=1mλjgj(x)+∑k=1pμkhk(x)
L\left(x,\left\{\lambda_{j}\right\},\left\{\mu_{k}\right\}\right)=f(x)+\sum_{j=1}^{m} \lambda_{j} g_{j}(x)+\sum_{k=1}^{p} \mu_{k} h_{k}(x)
L(x,{λj},{μk})=f(x)+j=1∑mλjgj(x)+k=1∑pμkhk(x) KKT条件为 ∇xL=0gj(x)=0,j=1,…,mhk(x)⩽0,k=1,...,pμk⩾0,k=1,...,pμkhk(x)=0,k=1,…,p
\begin{array}{l}{\nabla_{x} L=0} \\ {g_{j}(x)=0, j=1, \ldots, m} \\ {h_{k}(x) \leqslant 0, k=1,...,p} \\ {\mu_{k} \geqslant 0,k=1,...,p} \\ {\mu_{k} h_{k}(x)=0, k=1, \ldots, p}\end{array}
∇xL=0gj(x)=0,j=1,…,mhk(x)⩽0,k=1,...,pμk⩾0,k=1,...,pμkhk(x)=0,k=1,…,p
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
