20、连续优化中的约束优化与凸优化

连续优化中的约束优化与凸优化

1. 约束优化与拉格朗日乘数法

在优化问题中，我们常常需要在一定的约束条件下找到函数的最小值。之前我们考虑的是无约束的函数最小值问题：
[
\min_{x} f(x)
]
其中 ( f: R^D \to R )。而现在，我们引入了额外的约束条件。对于实值函数 ( g_i: R^D \to R )（( i = 1, \cdots, m )），我们考虑如下的约束优化问题：
[
\min_{x} f(x)
]
约束条件为：
[
g_i(x) \leq 0, \quad \text{对于所有 } i = 1, \cdots, m
]

需要指出的是，函数 ( f ) 和 ( g_i ) 通常可能是非凸的，后续我们会讨论凸函数的情况。

1.1 将约束问题转化为无约束问题

一种直观但不太实用的方法是使用指示函数 ( J(x) )：
[
J(x) = f(x) + \sum_{i = 1}^{m} \mathbb{1}(g_i(x))
]
其中 ( \mathbb{1}(z) ) 是一个无限阶跃函数：
[
\mathbb{1}(z) =
\begin{cases}
0, & \text{如果 } z \leq 0 \
\infty, & \text{否则}
\end{cases}
]
当约束条件不满足时，该函数会给予无限惩罚，从而得到相同的解。然而，这个无限阶跃函数同样难以优化。为了克服这个困难，我们