最优化方法Python计算：求解约束优化问题的拉格朗日乘子算法

从仅有等式约束的问题入手。设优化问题
$$\{\begin{array}{l}\text{minimize}f(\mathbf{x})\\ \text{s.t.}\mathbf{h}(\mathbf{x})=\mathbf{o}\end{array}(1)$$
中$f(\mathbf{x})$，$\mathbf{h}(\mathbf{x})$均在${\text{R}}^n$上二阶连续可微，且$\left(\begin{array}{c}{\mathbf{x}}_0\\ {\mathbf{\lambda }}_0\end{array}\right)$是问题(1)满足二阶充分条件的KKT点。即$\nabla f({\mathbf{x}}_0)-\nabla \mathbf{h}({\mathbf{x}}_0){\mathbf{\lambda }}_0=0$且 ∀ d ∈ { d ∣ d ≠ o , ∇ h ( x ) ⊤ d = o } \forall\boldsymbol{d}\in\{\boldsymbol{d}|\boldsymbol{d}\not=\boldsymbol{o},\nabla\boldsymbol{h}(\boldsymbol{x})^\top\boldsymbol{d}=\boldsymbol{o}\} ∀d∈{ d∣d=o,∇h(x)⊤d=o}，${\mathbf{d}}^{\top }{\nabla }_{\mathbf{xx}}L({\mathbf{x}}_0,{\mathbf{\lambda }}_0)\mathbf{d}>0$。其中，$L(\mathbf{x},\mathbf{\lambda })=f(\mathbf{x})-{\mathbf{\lambda }}^{\top }\mathbf{h}(\mathbf{x})$为问题(1)的拉格朗日函数，其中的$\mathbf{\lambda }\in {\text{R}}^l$为拉格朗日乘子。
定义问题(1)的增广拉格朗日函数
$$L(\mathbf{x},\mathbf{\lambda },\sigma )=f(\mathbf{x})-{\mathbf{\lambda }}^{\top }\mathbf{h}(\mathbf{x})+\frac{\sigma }{2}\mathbf{h}(\mathbf{x}{)}^{\top }\mathbf{h}(\mathbf{x})(2)$$
其中，罚因子$\sigma >0$。与问题(1)的拉格朗日函数$L(\mathbf{x},\mathbf{\lambda })$相比，增广拉格朗日函数$L(\mathbf{x},\mathbf{\lambda },\sigma )$多了个罚项$\frac{\sigma }{2}\mathbf{h}(\mathbf{x}{)}^{\top }\mathbf{h}(\mathbf{x})$。对问题(1)的增广拉格朗日函数(2)，不难验证$\forall \mathbf{x}\in \Omega$，$L(\mathbf{x},\mathbf{\lambda },\sigma )=f(\mathbf{x})$。可以证明以下命题：
定理1：$\left(\begin{array}{c}{\mathbf{x}}_0\\ {\mathbf{\lambda }}_0\end{array}\right)$是问题(1)满足二阶充分条件的KKT点，则存在${\sigma }^{\prime }\ge 0$，使得对任意的$\sigma >{\sigma }^{\prime }$ $${\mathbf{x}}_0=\arg \underset{\mathbf{x}\in {\text{R}}^n}{\min }L(\mathbf{x},{\mathbf{\lambda }}_0,\sigma ).$$
反之，若${\mathbf{x}}_0=\arg \underset{\mathbf{x}\in {\text{R}}^n}{\min }L(\mathbf{x},{\mathbf{\lambda }}_0,\sigma )$，且$\mathbf{h}({\mathbf{x}}_0)=\mathbf{o}$，则${\mathbf{x}}_0$是问题(1)的局部最优解，即${\mathbf{x}}_0=\arg \underset{\mathbf{x}\in \Omega }{\min }f(\mathbf{x})$。
定理1将存在最优解满足二阶充分条件KKT点$\left(\begin{array}{c}{\mathbf{x}}_0\\ {\mathbf{\lambda }}_0\end{array}\right)$的等式约束优化问题(1)求解，转化为对其增广拉格朗日函数$L(\mathbf{x},{\mathbf{\lambda }}_0,\sigma )$作为目标函数的辅助无约束优化问题的求解，其中$\sigma >0$是一个充分大的实数。然而，一般情况下，拉格朗日乘子${\mathbf{\lambda }}_0$未必已知。需设法用一系列 { λ k } \{\boldsymbol{\lambda}_k\} { λk​}去逼近${\mathbf{\lambda }}_0$。
利用定理1，我们得到由初始的乘子${\mathbf{\lambda }}_1$和罚因子${\sigma }_1>0$出发，计算问题(1)的满足二阶充分条件的KKT点$\left(\begin{array}{c}{\mathbf{x}}_0\\ {\mathbf{\lambda }}_0\end{array}\right)$近似值的迭代方法：计算
$$\{\begin{array}{l}{\mathbf{x}}_{k+1}=\arg \underset{\mathbf{x}\in {\text{R}}^n}{\min }L(\mathbf{x},{\mathbf{\lambda }}_k,{\sigma }_k)\\ {\mathbf{\lambda }}_{k+1}={\mathbf{\lambda }}_k-{\sigma }_k\mathbf{h}({\mathbf{x}}_k)\end{array}.$$
对给定的容错误差$\epsilon >0$，若$\Vert \mathbf{h}({\mathbf{x}}_{k+1})\Vert <\epsilon$，则停止迭代。$\left(\begin{array}{c}{\mathbf{x}}_{k+1}\\ {\mathbf{\lambda }}_{k+1}\end{array}\right)$即为$\left(\begin{array}{c}{\mathbf{x}}_0\\ {\mathbf{\lambda }}_0\end{array}\right)$近似值。\par
否则，即 ∥ h ( x k +