5、学习ω(1)维矩形的并集

学习ω(1)维矩形的并集

在机器学习领域，函数学习是一个重要的研究方向，尤其是对于特定类型函数的高效学习算法的探索。本文将介绍一系列相关的算法和理论，包括广义调和筛算法（GHS），以及如何利用它来学习特定概念类的函数。

1. 基础概念与预备知识

• 平滑分布 ：满足 $L_{\infty}(D) < \text{poly}(\epsilon^{-1})/b^n$ 的分布 $D$ 被称为平滑分布。
• 判别引理 ：设 $H$ 是 $[b]^n$ 上的 $\pm1$ 值函数类，$f : [b]^n \to {-1, 1}$ 可表示为 $f = \text{Majority}(h_1, \ldots, h_s)$，其中每个 $h_i \in H$ 且对于所有 $x$ 有 $h_1(x) + \ldots + h_s(x) \neq 0$。那么对于 $[b]^n$ 上的任何分布 $D$，存在某个 $h_i$ 使得 $|E_D[f h_i]| \geq 1/s$。

2. 广义调和筛算法（GHS）

传统的 Jackson 调和筛算法在处理 $[b]^n$ 时，其弱学习器的运行时间与 $b$ 呈多项式关系，这限制了算法的效率。为了实现与 $b$ 呈 $\text{poly}(\log b)$ 的运行时间依赖，我们对调和筛算法进行了改进，引入了 Akavia 等人提出的更高效的弱学习器，得到了广义调和筛算法（GHS）。

在布尔域 ${-1, 1}^n$ 的调和筛算法中，使用的弱假设是 ${-1, 1}^n$ 上的傅里叶基元素，对