16、计算学习理论中的可学习性与维度分析

计算学习理论中的可学习性与维度分析

在机器学习领域，理解分类器的可学习性是一个核心问题。我们将探讨一些关键概念，如偏差（bias）、奥卡姆剃刀原理（Occam’s Razor）、无关和冗余属性的影响，以及 Vapnik - Chervonenkis 维度（VC - 维度），这些概念对于评估和选择合适的分类器至关重要。

偏差与可学习性

在机器学习中，偏差指的是对分类器描述的一种约束。例如，当分类器的描述被限制为属性值的合取时，这就是一种偏差。允许某些属性被视为无关而忽略时，假设空间的大小为 (|H| = 3^n)；若加强偏差，要求每个属性都必须参与，则假设空间大小变为 (|H| = 2^n)。不同的偏差会导致不同大小的假设空间，而假设空间的大小会影响分类器的可学习性。

没有偏差就无法学习。如果不施加任何偏差，允许使用任何布尔函数，那么 (\ln |H|) 会随着属性数量呈指数增长，即 (\ln |H| = 2^n \ln 2)，这意味着在这种最一般的形式下，分类器不是 PAC 可学习的。原因在于无约束的假设空间过于庞大，可能找到一个能正确标记整个训练集的分类器，但在未来示例上表现不佳，诱导出的分类器不可信。因此，工程师需要通过有意义的偏差来约束假设空间，且偏差不能具有误导性。

奥卡姆剃刀原理

工程师常常需要在多个偏差中进行选择。例如，对于一个由属性值合取描述的类，一个较弱的偏差允许某些属性不在合取中出现，而一个较强的偏差要求每个属性都参与。在不等式 (m > \frac{1}{\epsilon} (\ln |H| + \ln \frac{1}{\delta})) 中，成功学习所需的训练示例数量取决于 (\ln |H|)。较小的 (\