9、分类规则的一致性与收敛速率探讨

分类规则的一致性与收敛速率探讨

分类规则的一致性

在分类问题中，一致性是一个重要的概念。在很多实际的分类规则里，对于任意的 $\delta > 0$，并不一定需要 $\eta_n$ 收敛到 $\eta$。虽然从第 6 章到第 11 章的一致性证明都依赖于 $\eta_n$ 到 $\eta$ 的收敛，但对于某些分布而言，这些条件可能是不必要的。不过，总能找到一些 $(X, Y)$ 的分布，使得这些条件是必需的，从这个意义上讲，这些通用一致性结果的条件是不可改进的。

智能规则

规则通常是一系列的映射 $g_n : R^d \times (R^d \times {0, 1})^n \to {0, 1}$。大多数规则期望随着 $n$ 的增加性能能更好。如果对于 $(X, Y)$ 的所有分布，$E{L(g_n)}$ 是非递增的，那么称这样的规则为智能规则。
- 示例
- 有些看似“笨”的规则其实是智能规则。例如，对于每个 $n$，忽略 $X_i$，对所有 $Y_i$ 取多数的规则就是智能规则。这是因为 $p { \sum(2Y_i - 1) > 0, Y = 0 \text{ 或 } \sum(2Y_i - 1) \leq 0, Y = 1 }$ 关于 $n$ 是单调的，这是二项分布的一个性质。
- 具有固定划分的直方图规则也是智能规则。
- 而 1 - 最近邻规则不是智能规则。假设 $(X, Y)$ 以概率 $p$ 为 $(0, 1)$，以概率 $1 - p$ 为 $(Z, 0)$，其中 $Z$ 在 $[-1000, 1000]$ 上均匀分布。当 $n = 1$ 时，$EL_n = 2p(1 -