墨奇科技博客 | 凸优化简介：极值何时存在？

最新推荐文章于 2024-01-18 10:05:46 发布

Moqi_AI

最新推荐文章于 2024-01-18 10:05:46 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：墨奇科技博客文章标签：科技

本文链接：https://blog.youkuaiyun.com/Moqi_AI/article/details/126974244

本文介绍了凸优化的基础概念，包括极值存在的Weierstrass定理和凸函数的性质。通过举例和证明，阐述了在连续性和半连续性函数上极值的存在性。接着，文章探讨了凸函数、支持函数和投影的概念，证明了在闭合凸集合上Hilbert投影定理，即集合外点的唯一投影。分离定理的证明进一步揭示了凸集合的特性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

引言

同学们可能能回忆起来，对于二次函数 $f(x)=(x-a)^2+b$ 来说最小值出现于 $x=a$ 为 $f(a)=b$ 。这个当然是一个非常简单的例子。在这里我们先热热身，我们把 $x=a$ 叫做 $f$ 在实数集 $\mathbb{R}$ 的最小解，最小值为 $b$ 。如果对于函数 $f(x)=-(x-a)^2+b$ 则存在最大值 $b$ 。所以像这些有最值的函数都可以有最优解，那么求解这些最值和最值位置的问题就是我们常说的最优化问题（Optimization）。

在求解这个问题之前，我们应该先判断问题本身是不是可解的。一些同学可能能想起有个东西叫极值存在定理。它是这样描述的：在一个有界区间中，如果一个函数是连续的，那么在这个区间内它一定存在极大值和极小值。然而对于最优化问题来讲，我们在当前区间内更关心这个极大值唯一吗？或者这个极小值唯一吗？读到这里的同学们可以先思考一下，能有什么样的性质能帮助我们判断这种唯一性吗？

当然聪慧的你们肯定能察觉到一些蛛丝马迹。正如标题中提到的凸优化中的 “凸”，我们看重的是问题的 “凸” 性。在深入到各种数学符号之前，我觉得大家应该更加感性的理解这个问题。

举个例子，想象有一块橡皮泥，我们希望这块橡皮泥印在平板上的印记只有一个。那么这个橡皮泥应该是什么样子的呢？如果是个正方体，那么印记会是一条线段或者一个长方形或者一个点。若是一个球形的，那么印记会是一个点。这两个例子都满足前文“印记只有一个”的前提要求。但如果是马鞍形，印记则可能是两个点。是不是感觉有点理解这个感性认识了？

如果你能找到点感觉，那就带着这个感觉先赶快看一下经典 Weierstrass 级值定理吧。这部分内容能够帮助你理解一个更广义的极值存在定理，并将连续这个概念拓展到更广泛的场景中。

经典 Weierstrass 极值定理

基本定义与定理

本节我们会介绍一些基本概念，包括什么是有界、闭合、紧致等定义。同时我们还会回顾一些连续性的相关定义，以方便我们去证明后续的一些定理。

1.有界 (bounded) ：有界集合有穷的集合半径；有界集合内部的任两个点的距离都是有穷的。

2.闭合 (closed) ：闭合集合是有界的且边界在集合中的。

3.紧致 (compact) ：紧致集合是有界的且闭合的。

4.真性 (proper)：真度量空间内所有的闭合球 (closed ball) 都是紧致的。换言之，真度量空间都是完备的(complete)。真函数 (proper functions) 在自身非空的定义域中每个值都大于 $-\infty$ 且存在一个值小于 $\infty$ 。

5.下半连续 (lower semi-continuous) ：闭合函数都是下半连续的，反之亦然。（上半连续 + 下半连续 = 连续）

$f(x)\le\lim_{k\to\infty}\inf{f(x_k)} \qquad \forall x_k\to x \text{ and } {x_k}\subset X$

6.强制性 (coercive) ：可以理解为是函数在轴两侧都是奔向无穷的。

$\lim_{|x|\to\infty}f(x)=+\infty$

7.Bolzano-Weierstrass 定理：任意有界的序列都有一个收敛的子序列。

极值存在定理

在证明经典 Weierstrass 极值定理之前，我们先推出一个初始版本的极值定理：

(定理 1) 对于一个闭合，强制性的真函数 (coercive, closed and proper function) $f:X\to(-\infty,+\infty]$ ，有 $(\exists x\in X) \text{ } f(\bar{x}):=\min f(x) = \inf f(x)$ ： $\bar{x}$ 是函数 $f$ 的极小值点。