17、凸学习问题：理论与应用

凸学习问题：理论与应用

1. 凸性、Lipschitz性与光滑性

1.1 凸性

在数学中，凸函数具有重要的性质。对于函数 (g)，若满足 (g(\alpha u + (1 - \alpha)v) \leq \alpha g(u) + (1 - \alpha)g(v))，则称 (g) 为凸函数。例如，函数 (g(x) = |x|) 是凸函数，因为 (g(x) = \max{x, -x})，且 (f_1(x) = x) 和 (f_2(x) = -x) 都是凸函数。

1.2 Lipschitz性

Lipschitz性描述了函数变化的速率。设 (C \subset \mathbb{R}^d)，函数 (f: \mathbb{R}^d \to \mathbb{R}^k) 在 (C) 上是 (\rho) - Lipschitz 的，如果对于任意的 (w_1, w_2 \in C)，都有 (|f(w_1) - f(w_2)| \leq \rho |w_1 - w_2|)。直观上，Lipschitz 函数的变化不会太快。

以下是一些常见函数的 Lipschitz 性示例：
- (f(x) = |x|) 在 (\mathbb{R}) 上是 1 - Lipschitz 的。根据三角不等式，对于任意的 (x_1, x_2)，有 (|x_1| - |x_2| = |x_1 - x_2 + x_2| - |x_2| \leq |x_1 - x_2| + |x_2| - |x_2| = |x_1 - x_2|)，所以 (||x_1| - |x_2|| \leq |x_1 - x_2|)。
- (f(x) = \log(1 + \exp(x))