16、计算学习理论：从离散到连续的学习边界探索

计算学习理论：从离散到连续的学习边界探索

1. 学习理论的实际与理论影响

1.1 偏差与可学习性

在机器学习中，偏差（bias）对可学习性有着重要影响。当分类器的描述被限制为属性值的合取时，不同的偏差会导致不同大小的假设空间。若允许忽略一些无关属性，假设空间大小为 (|H| = 3^n)；若要求每个属性都参与合取，假设空间大小则变为 (|H| = 2^n)。不同的偏差，如限制合取项数量、偏好析取或特定的合取析取组合等，都会产生不同大小的假设空间，而这个大小会直接影响可学习性。

1.2 无偏差则无学习

若不施加任何偏差，允许使用任意布尔函数，(\ln |H|) 会随着属性数量呈指数增长（(\ln |H| = 2^n \ln 2)），此时类别在这种最一般形式下是不可PAC学习的。这是因为无约束的假设空间过于庞大，很可能找到一个能正确标记整个训练集的分类器，但在未来示例上表现不佳，即诱导出的分类器不可信。因此，在一定程度上可以说“无偏差则无学习”，工程师需要通过有意义的偏差来约束假设空间，但偏差不应具有误导性。

1.3 奥卡姆剃刀原则

工程师常常需要在多个偏差中进行选择。例如，对于属性值合取的类别描述，一个较弱的偏差允许某些属性不参与合取，而一个较强的偏差要求所有属性都参与。在这种情况下，较弱偏差对应的 (\ln |H| = n \ln 3)，较强偏差对应的 (\ln |H| = n \ln 2)。根据不等式 (m > \frac{1}{\epsilon} (\ln |H| + \ln \frac{1}{\delta}))，(\ln |H|) 值越低，满足给定 ((\epsilon, \delta)) 要求所需的训练示例就越少。