10、机器学习中的可学习性与计算复杂度

机器学习中的可学习性与计算复杂度

在机器学习领域，可学习性和计算复杂度是两个至关重要的概念。可学习性帮助我们理解在何种条件下一个算法能够有效地学习目标函数，而计算复杂度则关注学习过程中所需的计算资源。下面将详细探讨不同的可学习性概念以及学习的计算复杂度。

1. 不同的可学习性概念

可学习性的概念有多种，包括PAC可学习性、非一致可学习性和一致性。

1.1 一致性

一致性的定义与PAC可学习性和非一致可学习性不同，它并没有产生一种自然的学习范式或编码先验知识的方法。实际上，在许多情况下根本不需要先验知识。例如，记忆算法（Memorize algorithm），直观上它不应被称为学习算法，但对于定义在可数域和有限标签集上的任何类，它都是一个一致的算法。这表明一致性是一个非常弱的要求。

那么，我们应该选择哪种学习算法呢？有人可能会认为，即使一致性是一个弱要求，但理想情况下，学习算法应该与从X到Y的所有函数集一致，这能保证对于足够多的训练示例，我们总能达到贝叶斯最优预测器的性能。因此，如果有两个算法，一个是一致的，另一个不一致，我们应该选择一致的算法。然而，这个论点存在两个问题：
- 对于大多数实际中观察到的“自然”分布，一致算法的样本复杂度可能非常大，以至于在任何实际情况下，我们都无法获得足够的示例来享受这种保证。
- 使任何PAC或非一致学习器与从X到Y的所有函数类一致并不困难。具体操作步骤如下：
1. 考虑一个可数域X、一个有限标签集Y和一个从X到Y的函数假设类H。
2. 当接收到一个训练集时，首先在训练集上运行非一致学习器。
3. 然后获得学习到的预测器的真实风险的界限。
4.