最优化方法Python计算：求解约束优化问题的罚函数算法

设等式约束优化问题
$$\{\begin{array}{l}\text{minimize}f(\mathbf{x})\\ \text{s.t. }\mathbf{h}(\mathbf{x})=\mathbf{o}\end{array}(1)$$
其中$f:{\text{R}}^n\to \text{R}$，$\mathbf{h}:{\text{R}}^n\to {\text{R}}^l$，在${\text{R}}^n$上连续。可行域 Ω = { x ∣ h ( x ) = o } \Omega=\{\boldsymbol{x}|\boldsymbol{h}(\boldsymbol{x})=\boldsymbol{o}\} Ω={ x∣h(x)=o}。构造罚函数
$$P(\mathbf{x})=\frac{1}{2}\mathbf{h}(\mathbf{x}{)}^{\top }\mathbf{h}(\mathbf{x})$$
称${\text{R}}^n\to \text{R}$函数
$$F(\mathbf{x},\sigma )=f(\mathbf{x})+\sigma P(\mathbf{x})$$
为问题(1)的增广目标函数，其中$\sigma >0$，称为罚因子。注意到$F(\mathbf{x},\sigma )=f(\mathbf{x})$，当且仅当$\mathbf{x}\in \Omega$。考虑无约束优化问题
$$\{\begin{array}{l}\text{minimize}F(\mathbf{x},\sigma )\\ \text{s.t. }\mathbf{x}\in {\text{R}}^n\end{array},(2)$$
称为(1)的子问题。给定罚因子$\sigma >0$，设子问题(2)最优解${\mathbf{x}}_{\sigma }=\arg \underset{\mathbf{x}\in {\text{R}}^n}{\min }F(\mathbf{x},\sigma )$。若${\mathbf{x}}_{\sigma }\in \Omega$，则$\sigma P({\mathbf{x}}_{\sigma })=0$，且$F({\mathbf{x}}_{\sigma },\sigma )=f({\mathbf{x}}_{\sigma })$。故${\mathbf{x}}_{\sigma }$可以视为$f(\mathbf{x})$最优解的近似值。否则，即${\mathbf{x}}_{\sigma }\notin \Omega$，则$\sigma P({\mathbf{x}}_{\sigma })$是一个正数，其存在是对${\mathbf{x}}_{\sigma }$脱离$\Omega$的一种“惩罚”。此时，若加大${\sigma }^{\prime }>\sigma$，再次尝试求解子问题${\mathbf{x}}_{{\sigma }^{\prime }}=\arg \underset{\mathbf{x}\in {\text{R}}^n}{\min }F(\mathbf{x},{\sigma }^{\prime })$，意欲迫使${\mathbf{x}}_{{\sigma }^{\prime }}$向$\Omega$靠拢。可以证明以下命题
定理1：若约束优化问题(1)存在唯一最优解${\mathbf{x}}_0$，子问题(2)对任意$\sigma >0$，均有最优解${\mathbf{x}}_{\sigma }$。给定序列$0<{\sigma }_1<{\sigma }_2<\cdots <{\sigma }_k<\cdots$，且$\underset{k\to \infty }{\lim }{\sigma }_k=+\infty$。按迭代式
$${\mathbf{x}}_k=\arg \underset{\mathbf{x}\in {\text{R}}^n}{\min }F(\mathbf{x},{\sigma }_k)$$
算得序列 { x k } \{\boldsymbol{x}_k\} { xk​}，则必有
{ lim ⁡ k → ∞ x k = x 0 lim ⁡ k → ∞ σ k P ( x k ) = 0