约束规划问题的罚函数解法

本文中我们考虑如下有约束的一般优化问题的求解方法：
min ⁡ f ( x ) s. t.  c i ( x ) = 0 , i ∈ E = { 1 , 2 , … , l } c i ( x ) ≤ 0 , i ∈ I = { l + 1 , l + 2 , … , l + m } x ∈ R n \begin{aligned} &\min f(x) \\ \text{s. t. } &c_{i}(x) = 0, i\in E=\{1,2,\dots, l\}\\ & c_{i}(x)\leq 0, i\in I = \{l+1, l+2,\dots,l+m\} \\ & x\in \mathbb{R}^{n} \end{aligned} s. t. ​minf(x)ci​(x)=0,i∈E={ 1,2,…,l}ci​(x)≤0,i∈I={ l+1,l+2,…,l+m}x∈Rn​ 其中，可行域 $D$ 记为：
D = { x ∣ c i ( x ) = 0 , i ∈ E ; c i ( x ) ≤ 0 , i ∈ I ; x ∈ R n } D=\{x | c_{i}(x)=0, i\in E; c_{i}(x)\leq 0, i\in I; x\in\mathbb{R}^{n}\} D={ x∣ci​(x)=0,i∈E;ci​(x)≤0,i∈I;x∈Rn}

求解约束优化问题要比求解无约束优化问题复杂困难得多。一般来说，求解约束优化问题的方法大致分两类：一类是此文中介绍的直接求解法，另一类是本文中即将介绍的罚函数法。

罚函数法是利用目标函数 $f(x)$ 和约束函数 $c(x)$，构造具有惩罚性质的函数 $P(x)=\bar{P}(f(x),c(x))$ ，使得原约束优化问题转化为求 $P(x)$ 最优解的无约束优化问题。以下讨论中，我们假设所有函数都是连续的。

外罚函数法

外罚函数是一类不可行点的方法，其基本思想是：在求解约束优化的问题时，通过对不可行的迭代点施加惩罚，并随着迭代点的进展，增大惩罚量，迫使迭代点逐步向可行域靠近。

等式约束的优化问题

$$\begin{array}{rl}& \min f(x),x\in {\mathbb{R}}^n\\ \text{s. t. }& c_i(x)=0,i=1,2,\dots ,l\end{array}$$记$$\tilde{P}(x)=\sum _{i=1}^l|c_i(x){|}^{\beta },\beta \ge 1$$定义如下形式的外罚函数$$\begin{array}{rl}P(x,\sigma )& =f(x)+\sigma \tilde{P}(x)\\ & =f(x)+\sigma \sum _{i=1}^l|c_i(x){|}^{\beta },\beta \ge 1\end{array}$$其中 $\sigma >0$ 是一个参数。显然，当 $x$ 为可行点时，$\tilde{P}(x)=0$ ；当 $x$ 不是可行点时 $\tilde{P}(x)>0$ ，于是 $P(x,\sigma )>f(x)$ 。特别的，随着 $\sigma$ 增大，$P(x)$ 也在增大。所以，要使 $P(x,\sigma )$ 取到极小值， $\tilde{P}(x)$ 应充分小，即 $P(x,\sigma )$ 的极小点应充分逼近可行域。于是，上述等式约束优化问题转化为无约束优化的问题
min ⁡ x { P ( x , σ ) = f ( x ) + σ P ~ ( x ) } \min_{x}\{P(x,\sigma)=f(x)+\sigma\tilde{P}(x) \} xmin​{ P(x,σ)=f(x)+σP~(x)}通常取$\beta =2$ 。

例 1：求解下列约束优化问题 min ⁡ { f ( x ) = x 1 + x 2 } s. t.  c ( x ) = x 2 − x 1 2 = 0 \begin{aligned}\min\{f(x)=x_{1}+x_{2}\}\\\text{s. t. } c(x)=x_{2}-x_{1}^{2} =0 \end{aligned} min{ f(x)=x1​+x2​}s. t. c(x)=x2​−x12​=0​解：构造外罚函数$$P(x,\sigma )=x_1+x_2+\sigma (x_2-x_1^2{)}^2$$利用解析法求解$$\frac{\partial P}{\partial x_1}=1-4\sigma x_1(x_2-x_1^2),\frac{\partial P}{\partial x_2}=1+2\sigma (x_2-x_1^2)$$令$${\nabla }_{x}P(x,\sigma )=0$$得到$$x_1(\sigma )=-\frac{1}{2},x_2(\sigma )=\frac{1}{4}-\frac{1}{2\sigma }$$再令 σ → + ∞ \sigma\to+\infty σ→<