11、凸学习问题：理论与应用

凸学习问题：理论与应用

1. 凸学习问题概述

凸学习问题在机器学习中占据着重要地位，因为大多数可高效学习的问题都属于这一范畴。像带平方损失的线性回归和逻辑回归就是凸问题，能够被高效学习；而使用 0 - 1 损失的半空间问题则是非凸问题，在不可实现的情况下，学习这类问题的计算难度很大。

一般来说，凸学习问题需满足两个条件：假设类是凸集，且对于每个示例，损失函数是凸函数。为了更好地理解凸学习问题，我们需要先明确凸性、Lipschitz 性和光滑性的定义。

2. 凸性、Lipschitz 性和光滑性

2.1 凸性

• 凸集 ：在向量空间中，如果集合 C 内任意两个向量 u 和 v 之间的线段都包含在 C 中，那么集合 C 就是凸集。用数学语言表示，对于任意 α ∈[0, 1]，都有 αu + (1 - α)v ∈C。例如在二维空间 R² 中，存在凸集和非凸集的例子，非凸集存在两点，它们之间的线段不在集合内。
• 凸函数 ：设 C 是凸集，函数 f : C →R 是凸函数的条件是，对于任意 u, v ∈C 和 α ∈[0, 1]，都有 f(αu + (1 - α)v) ≤αf(u) + (1 - α)f(v)。也就是说，函数 f 在 u 和 v 之间的图像位于连接 f(u) 和 f(v) 的线段下方。
  • 凸函数的性质 ：
    • 凸函数的每个局部最小值也是全局最小值。设 B(u, r) = {v : ∥v - u∥≤r} 是以 u 为中心