19、分类模型选择与降维技术解析

分类模型选择与降维技术解析

1. 分类器的VC维相关理论

在分类问题中，VC维是一个重要的概念，它衡量了分类器的复杂度。不同类型的分类器具有不同的VC维特性。
- 神经网络 ：对于具有一个隐藏层且包含k个神经元的神经网络类$C_k$，若使用任意Sigmoid函数，其VC维$VC_k$满足$VC_k \geq 2\left\lfloor\frac{Mk}{2}\right\rfloor d$（其中$\lfloor x\rfloor$是不大于x的最大整数）。当k为偶数时，$VC \geq kd$。而对于阈值Sigmoid函数，$VC_k < 1$，且$S(C_k, n) \leq (ne)^{\gamma}$，$VC_k \leq 2 \gamma \ln_2(e\gamma)$，这里$\gamma = kd + 2k + 1$是权重的数量。阈值Sigmoid函数在所有Sigmoid函数中实现了最小的VC维，实际上，存在一些Sigmoid函数，当$k \geq 2$时，$VC_k = 1$。
- 直方图规则 ：对于具有有限个分区b的直方图规则，其粉碎系数$S(C, n)$为：
[
S(C, n) =
\begin{cases}
2^n, & n < b \
2^b, & n \geq b
\end{cases}
]
因此，其VC维$VC = b$。

2. Vapnik - Chervonenkis定理

该定理将之前的定理扩展到任意分类器类C，使用粉碎系数$S(C, n)$而不是$