8、分类规则的一致性：理论与应用

分类规则的一致性：理论与应用

1. 通用一致性

在分类问题中，当给定训练数据序列 (D_n = ((X_1, Y_1), \ldots, (X_n, Y_n))) 时，我们期望分类函数能达到贝叶斯错误概率 (L^ )。但通常很难精确得到达到该概率的函数，不过可以构建一系列分类函数 ({g_n})（即分类规则），使错误概率以大概率接近 (L^ )。

1.1 弱一致性和强一致性

• 弱一致性 ：对于 ((X, Y)) 的某种分布，若分类规则满足一定条件，则称其为一致的（或渐近贝叶斯风险有效）。
• 强一致性 ：若 (\lim_{n \to \infty} L_n = L^*) 且概率为 1，则称该分类规则为强一致的。

一致性定义为 (L_n) 的期望值收敛到 (L^ )，由于 (L_n) 是介于 (L^ ) 和 1 之间的随机变量，这种收敛等价于 (L_n) 依概率收敛到 (L^ )，即对于任意 (\epsilon > 0)，有 (\lim_{n \to \infty} P{L_n - L^ > \epsilon} = 0)。显然，强一致性蕴含一致性。

1.2 通用一致性

一个决策规则序列若对 ((X, Y)) 的任何分布都是（强）一致的，则称其为通用（强）一致的。这一要求很强，因为有些分布可能非常“奇特”，难以学习。例如，设 (X) 以概率 1/2 均匀分布在 ([0, 1]) 上，以概率 1/2 集中在有理数上。若 (