3、基于样本的分类判别器与常见分类规则

基于样本的分类判别器与常见分类规则

在分类问题中，样本规模与分类规则复杂度之间的关系对分类性能有着至关重要的影响。同时，不同类型的分类判别器和分类规则各有特点和适用场景。下面我们将详细探讨这些内容。

样本规模与分类规则复杂度

样本规模 (n) 与分类规则复杂度 (V_{\mathcal{C}}) 之间存在着紧密的联系。理论上，(E[\Delta_{n,\mathcal{C}}] = O(\sqrt{V_{\mathcal{C}}\log n / n}))，为了使这个界限足够小，必须满足 (n \gg V_{\mathcal{C}})。也就是说，样本规模的增长速度需要快于分类规则的复杂度，才能保证良好的分类性能。

需要注意的是，VC 理论中的所有界限都是最坏情况的估计，因为没有对数据分布做出假设。所以，在特定的特征 - 标签分布和小样本情况下，这些界限可能会非常宽松。在缺乏分布知识时，增加分类规则的复杂度可能会适得其反，除非有足够大的样本。否则，可能会得到一个误差估计很小，但实际性能很差的分类器。

基于样本的判别器

基于样本的判别器是一个实值函数 (W(S_n, x))，其中 (S_n) 是给定的样本，(x \in R^d)。许多有用的分类规则都是通过基于样本的判别器来定义的。具体来说，一个基于样本的判别器 (W) 通过以下方式定义一个设计好的分类器（并隐式地定义一个分类规则）：
[
\Psi_n(S_n)(x) =
\begin{cases}
1, & W(S_n, x) \leq k \
0, & \text{otherwise}
\end{cases}