17、凸学习问题详解

凸学习问题详解

1. 引言

凸学习是一类重要的学习问题，因为大多数可以高效学习的问题都属于这一范畴。像带平方损失的线性回归和逻辑回归就是凸问题，能够被高效学习；而如带 0 - 1 损失的半空间问题是非凸问题，在不可实现的情况下，计算学习难度较大。

2. 凸性、Lipschitz 性和光滑性

2.1 凸性

• 凸集定义 ：向量空间中的集合 $C$ 是凸集，若对于任意向量 $u, v \in C$，连接 $u$ 和 $v$ 的线段都在 $C$ 内。即对于任意 $\alpha \in [0, 1]$，有 $\alpha u + (1 - \alpha) v \in C$。例如在 $\mathbb{R}^2$ 中，存在凸集和非凸集的例子，非凸集存在两点，连接它们的线段不在集合内。
• 凸函数定义 ：设 $C$ 是凸集，函数 $f: C \to \mathbb{R}$ 是凸函数，若对于任意 $u, v \in C$ 和 $\alpha \in [0, 1]$，有 $f(\alpha u + (1 - \alpha) v) \leq \alpha f(u) + (1 - \alpha) f(v)$。也就是说，对于任意 $u, v$，$f$ 在 $u$ 和 $v$ 之间的图像位于连接 $f(u)$ 和 $f(v)$ 的线段下方。
• 凸函数性质 ：
  • 凸函数的每个局部最小值也是全局最小值。设 $B(u, r) = {v : |v - u| \leq r}$ 是以 $u$ 为中