10、学习算法的可学习性与计算复杂度

学习算法的可学习性与计算复杂度

1. 可学习性概念探讨

1.1 一致性的概念与特点

一致性与 PAC 可学习性和非一致可学习性不同，它没有自然的学习范式，也无需编码先验知识。例如，Memorize 算法通常不被视为学习算法，但对于任何定义在可数域和有限标签集上的类，它都是一致算法，这表明一致性是一个较弱的要求。

1.2 算法选择的考量

有人认为学习算法最好与从 X 到 Y 的所有函数集一致，这样在有足够训练样本时，算法性能能达到贝叶斯最优预测器的水平。因此，若有两个算法，一个一致，一个不一致，应优先选择一致算法。然而，这种观点存在问题：
- 对于实际中常见的“自然”分布，一致算法的样本复杂度可能非常大，实际情况下难以获得足够样本以享受该保证。
- 使任何 PAC 或非一致学习器与从 X 到 Y 的所有函数类一致并不困难。具体做法是，对于可数域 X、有限标签集 Y 和函数假设类 H，接收训练集后，先在训练集上运行非一致学习器，然后得到学习预测器真实风险的边界。若边界足够小则结束，否则采用 Memorize 算法。由于使算法一致很容易，仅基于一致性选择算法可能并不明智。

1.3 无免费午餐定理的再探讨

无免费午餐定理表明，在无限域上，没有算法能学习所有分类器的类。但 Memorize 算法对可数无限域上的所有分类器类是一致的。两者并不矛盾，原因如下：
- 无免费午餐定理：先固定训练集大小，然后找到对该训练集大小不利的分布和标记函数。
- 一致性保证：先固定分布和标记函数，再找到足以学习该特定分布和标记函数的训练集大小。

2. 不同可学习性定义的总结 <