16、计算学习理论：从理论到实践的深入剖析

计算学习理论：从理论到实践的深入剖析

1. 实际与理论影响

1.1 偏差与可学习性

在机器学习中，偏差对于分类器的可学习性有着重要影响。当分类器的描述被限制为属性值的合取时，这种限制被称为特定类型类别的偏差。例如，允许某些属性被视为无关而忽略时，假设空间的大小为 ( |H| = 3^n )；若加强偏差，要求每个属性都必须参与，则假设空间大小变为 ( |H| = 2^n )。这是因为在前者情况下，每个属性有三种可能（真、假、忽略），而后者只有真和假两种可能。

除了上述情况，还有许多其他类型的偏差，如限制合取项的数量、偏好析取或特定的合取与析取组合等。不同的偏差往往会导致假设空间大小不同，而假设空间的大小又会影响分类器的可学习性。

1.2 无偏差则无学习

如果没有任何偏差，允许使用任何布尔函数，那么 ( \ln |H| ) 的值会随着属性数量呈指数增长，即 ( \ln |H| = 2^n \ln 2 )，这意味着在这种最一般的形式下，类别不是 PAC 可学习的。原因很简单，无约束的假设空间非常庞大，很可能找到一个能正确标记整个训练集的分类器，但在未来示例上表现不佳，也就是说，这样诱导出的分类器不可信。因此，从这个意义上说，“没有偏差就没有学习”。

工程师在进行机器学习时，必须通过有意义的偏差来约束假设空间，但要注意这个偏差不能产生误导。这里的分析假设了假设空间包含解决方案，且示例无噪声。

1.3 奥卡姆剃刀原则

在很多情况下，工程师有机会从两个或更多偏差中进行选择。例如，要学习的类别由属性值的合取描述，每个属性都起作用。一个较弱的偏差允许合取中某些属性缺失，这种偏差也包含了