内点法解不等式约束的优化问题

*参考了《最优化理论与方法》科学出版社 袁亚湘 孙文瑜

前言

无约束的优化问题，有丰富的方法求解，相对有约束的优化问题比较简单。对于有约束的优化问题，一个重要的解决思路就是转化为无约束的优化问题求解。为此，一种方法是给优化目标加上惩罚项作为新的优化目标，称为新问题。惩罚项用来描述一个解对约束的破坏程度。破坏越严重，惩罚项越大（最小化问题），那么越偏离原问题的可行域，同时也越不能称为新问题的最优解。

内点法又称内点罚函数法，是这种思想的具体体现。

原理

对于不等式约束的优化问题P1：

$$\min_{x\in\mathbb{R}^n}f(x) \\ s.t. \qquad c_i(x)\ge0, \quad i = 1,\dots,m$$
现有函数$h(c)$满足
1. $\lim\limits_{c\to0^+}h(c)=+\infty$
2. $h(c)>0,\quad \forall c>0$
3. $h(c_1)\ge h(c_2),\quad \forall c_1\le c_2$

将$h(c)$作为惩罚项，构造内点罚函数

$$P_\sigma(x)=f(x)+\sigma^{-1}\sum_{i=1}^{m}h(c_i(x))$$
则有优化问题P2：
$$\min_{x\in\mathbb{R}^n}P_\sigma(x)$$
迭代地解问题P2，在初始点选择内点，由于惩罚项$h(c)$在边界上除取值无穷，那么在迭代过程中产生的解都将会是内点，即在可行域内。这就相当于在可行域的边界上筑起了无限高的高墙，迭代过程不可能爬过这面墙，所以产生的解都是可行解。意味着，可行性是自然满足的。

考虑如下的一系列优化问题P2.k

$$\min_{x\in\mathbb{R}^n}P_{\sigma_{k}}(x)=f(x)+\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x))$$
其中的$\sigma_k^{-1}$满足
$$\sigma_1^{-1}>\sigma_2^{-1}>\dots>\sigma_k^{-1}>\dots>0$$
那么可以看出，P2.k一系列问题中，惩罚项的影响在逐步减小趋于0。即问题P2.k的最优解越来越趋于问题P1的最优解。

设问题P2.k的最优解为$x_{\sigma_{k}}$,接下来证明上边所说的这两件事
1. 惩罚项的影响逐渐减小趋于0
2. P2.k最优解趋于P1的最优解
即
$\lim\limits_{k\to \infty}\frac{1}{\sigma_{k}}\sum_{i=1}^{m}h(c_i(x_{\sigma_k}))=0 \qquad(1)\ $
$\lim\limits_{k\to \infty}f(x_{\sigma_k}) = \inf\limits_{x\in X}f(x)\qquad\qquad (2)$
$X$是问题的可行域
证明：由于目标函数连续，对于$\forall \eta>0, \exists x_\eta\in X$使得

$$f(x_\eta)<\inf_{x\in X}f(x)+\eta/2\qquad(3)$$
固定$\eta，x_\eta$，由于$\sigma_k$的单调性，故存在$K$，使得
$$\sigma_k>\frac{2}{\eta}\sum_{i=1}^{m}h(c_i(x_\eta)),\qquad\forall k\ge K \qquad(4)$$
由于$x_{\sigma_k}$是P2.k的最优解，那么
$$P_{\sigma_k}(x_{\sigma_k})\le P_{\sigma_k}(x_{\eta})\qquad (5)$$
即
$$f(x_{\sigma_k})+\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\sigma_k})\le f(x_{\eta})+\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\eta})\qquad(6)$$
(6)移项得到
$$\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\sigma_k})\le f(x_{\eta})+\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\eta})-f(x_{\sigma_k})\qquad(7)$$
将(3)、(4)代入(7)得到：
$$\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\sigma_k})\le \inf_{x\in X}f(x)+\frac{\eta}{2}+\frac{\eta}{2}-f(x_{\sigma_k})\le\eta\qquad(8)$$
所以式(1)得证。
又由式(3)、(4)、(7)可得:
$$f(x_{\sigma_k})\le f(x_{\eta})+\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_{\eta})\le \inf_{x\in X}f(x)+\eta\qquad(9)$$
式(2)得证。
证毕。

以上的证明过程证明了内点罚函数最终将收敛到P1的最优解。

操作性

注意在上一部分，每一步所用的都是最优解，而且没有给出$x_{\sigma_k}$迭代得到$x_{\sigma_{k+1}}$的方法。由于精确求解最优解的困难，考虑非精确求解P2的方法。
假设$f(x)$和$h(c_i(x))$都是凸函数，那么$P_\sigma(x)$也是凸函数，则问题P3

$$\min_{x\in X}P_{\sigma_k}(x)\qquad(10)$$
的牛顿步长为
$$d_k=-[\nabla^2P_{\sigma_k}(x_k)]^{-1}\nabla P_{\sigma_k}(x_k)\qquad(11)$$
如果$x_k+d_k$在可行域内，那么令$x_{k+1}=x_k+d_k$，否则存在$\alpha_k>0$使得$x_k+\alpha_kd_k$正好处在可行域边界上，这时令$x_{k+1}=x_k+0.9\alpha_kd_k$，这样$x_{k+1}$总是内点。
完整的算法如下：
输入：$\sigma_1>0, \epsilon\ge0,f(x),c_i(x),i=1,\dots,m$
输出：$x_{k+1}$
第一步：给出$x_1$满足$c_i(x)>0,i=1,\dots,m$。
第二步：计算$d_k$，如果$d_k\neq 0$ 则跳转第三步；
$\quad\qquad$如果$\|\nabla^2f(x_k)\|\le\epsilon$则停止；
$\quad\qquad$否则，$\sigma_k\gets10\sigma_k$;跳转第二步。
第三步：$\alpha_k=1$;
$\quad\qquad$如果$x_k+d_k$是内点则跳转第四步；
$\quad\qquad$求$1\ge \bar\alpha_k>0$使得$x_k+\bar\alpha_k d_k$在可行域边界上；
$\quad\qquad$$\alpha_k\gets0.9\bar{\alpha}_k$
第四步：$x_{k+1}\gets x_k+\alpha_kd_k$;
$\quad\qquad$如果$\sigma_k^{-1}\sum_{i=1}^{m}h(c_i(x_k))\le\epsilon$则停；
$\quad\qquad$$\sigma_{k+1}\gets10\sigma_k$；$k\gets k=1$；跳转第二步。

实验

未完待续