内点法介绍（Interior Point Method）

最新推荐文章于 2025-02-28 23:49:41 发布

dymodi

最新推荐文章于 2025-02-28 23:49:41 发布

阅读量10w+

点赞数 157

分类专栏：优化算法文章标签：优化算法

本文链接：https://blog.youkuaiyun.com/dymodi/article/details/46441783

版权

本文深入探讨了内点法在优化问题中的应用，包括障碍函数法和原始对偶法两种主要方法。介绍了这两种方法的基本原理、中央路径的概念及其在算法中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在面对无约束的优化命题时，我们可以采用牛顿法等方法来求解。而面对有约束的命题时，我们往往需要更高级的算法。单纯形法（Simplex Method）可以用来求解带约束的线性规划命题（LP），与之类似的有效集法（Active Set Method）可以用来求解带约束的二次规划（QP），而内点法（Interior Point Method）则是另一种用于求解带约束的优化命题的方法。而且无论是面对LP还是QP，内点法都显示出了相当的极好的性能，例如多项式的算法复杂度。本文主要介绍两种内点法，障碍函数法（Barrier Method）和原始对偶法（Primal-Dual Method）。其中障碍函数法的内容主要来源于Stephen Boyd与Lieven Vandenberghe的Convex Optimization一书，原始对偶法的内容主要来源于Jorge Nocedal和Stephen J. Wright的Numerical Optimization一书（第二版）。

为了便于与原书对照理解，后面的命题与公式分别采用了对应书中的记法，并且两者方法针对的是不同的命题。两种方法中的同一变量可能在不同的方法中有不同的意义，如 $\mu$ 。在介绍玩两种方法后会有一些比较。

障碍函数法（Barrier Method）

对于障碍函数法，我们考虑一个一般性的优化命题：

min subject to f 0 (x) f i (x) \leq 0, i = 1, . . ., m A x = b (1)

$\begin{align} \min \quad &f_0(x) \\ \text{subject to}\quad &f_i(x)\le 0, i=1,...,m \tag1 \\ &Ax=b\end{align}$ 这里

f0,...,fm:Rn→R $f_0,...,f_m:\mathbf R^n \to\mathbf R$ 是二阶可导的凸函数。同时我也要求命题是有解的，即最优解

x∗ $x^*$ 存在，且其对应的目标函数为

p∗ $p^*$ 。此外，我们还假设原命题是可行的（feasible）。此时，存在最优的对偶变量

λ∗ $\lambda^*$ 和

ν∗ $\nu^*$ ，与原始变量

x∗ $x^*$ 一道，满足如下的KKT条件:

\nabla f 0 (x *) + \sum i = 1 m λ * i f i (x *) + A T ν * A x * f i (x) λ * λ * i f i (x *) = 0 = b \leq 0, i = 1, . . ., m \geq 0 = 0, i = 1, . . ., m (2)

$\begin{align} \nabla f_0(x^*)+\sum_{i=1}^m\lambda_i^*f_i(x^*)+A^T\nu^*&=0 \\ Ax^* &= b \\ f_i(x) &\le 0, \quad i=1,...,m \tag2 \\ \lambda^* &\ge 0 \\ \lambda_i^*f_i(x^*) &= 0, \quad i=1,...,m \end{align}$ 其中，

λ∗ifi(x∗)=0 $\lambda_i^*f_i(x^*) = 0$ 被称为Complementary Condition。

我们可以看出，KKT条件中的不等式使得对KKT系统的求解难以为继，因此Barrier Method的思想就是通过在原始的目标函数中添加一个障碍函数（也可以理解成惩罚函数）来代替约束条件中的不等式约束。也就是说，把命题(1)变成下面的样子：

min subject to f 0 (x) + \sum i = 1 m I - (f i (x)) A x = b (3)

$\begin{align} \min \quad &f_0(x) + \sum_{i=1}^mI_-(f_i(x)) \\ \text{subject to}\quad &Ax=b \tag3 \end{align}$ 然后我们再考虑

I−(u) $I_-(u)$ 这个函数究竟选择什么样的一种函数好呢，其实最好是像一堵墙的一样的函数，在没有违反约束时，函数值为0，当违反约束时，函数值为正无穷，就像下图中红色虚线这样一个函数

但是很可惜，红色虚线的这个函数在某些点上是不可导的，因此并不适用，那么下面的想法就是用类似的函数，比如上图中的几条蓝色曲线表示的函数来近似这个函数。这样一个近似的函数的表达式如下：

I^- (u) = - (1 / t) log (- u)

$\hat I_-(u)=-(1/t) \log (-u)$ 其中

t $t$ 是用于调整近似程度的参数，从上图可以看出，

t $t$ 越大近似效果越好。将上面的近似函数替换到(3)的优化命题中，可以得到如下的一个近似的优化命题：

min subject to f 0 (x) + \sum i = 1 m - (1 / t) log (- f i (x)) A x = b (4)

$\begin{align} \min \quad &f_0(x) + \sum_{i=1}^m-(1/t) \log (-f_i(x)) \\ \text{subject to}\quad &Ax=b \tag4 \end{align}$
这里我们定义如下的对数障碍（logarithmic barrier）：