3、学习理论中的谱范数：精选主题解析

学习理论中的谱范数：精选主题解析

1. 统计查询与相关查询的等价性

从信息论的角度来看，统计查询和相关查询是等价的。对于任意一种类型的查询，都存在另一种类型的查询能揭示完全相同的信息量。

1.1 函数诱导的实例空间划分

考虑函数 ℏ: X × {±1} →{±1}，它将实例空间划分为两部分：
- (X_0(ℏ) = {x ∈X| ℏ(x, +1) = ℏ(x, −1)})
- (X_1(ℏ) = {x ∈X| ℏ(x, +1) ≠ ℏ(x, −1)})

可以大致认为，(X_1(ℏ)) 包含了谓词 ℏ 对标签“敏感”的实例，而 ℏ 对 (X_0(ℏ)) 中的实例标签不敏感。

1.2 关联函数 h

与 ℏ 关联的函数 (h : X →{−1, 0, +1}) 定义如下：
[
h(x) =
\begin{cases}
0, & \text{if } x ∈X_0(ℏ) \
ℏ(x, 1), & \text{if } x ∈X_1(ℏ)
\end{cases}
]

对于任意 (x ∈X_1) 和 (b = ±1)，有 (ℏ(x, b) = b · ℏ(x, 1) = b · h(x))。

1.3 期望的表示

(E_D[ℏ(x, f(x))]) 可以用 (\langle h, f\rangle_D) 表示为：
[
E_D[ℏ(x, f(x))] = \sum_{x∈X_0(ℏ)} D(x)ℏ(x, f(x)) + \sum_{x∈X_1