44、学习的计算复杂度

学习的计算复杂度

学习的复杂性是一个多维度的概念，有着多种衡量方式和应用场景。接下来，我们将深入探讨这些不同的衡量方法及其在不同学习场景中的应用。

归纳推理的复杂性

归纳推理是从具体的观察中推断出一般性的结论，其复杂性的衡量方式有多种。
- 思维改变和异常情况
- 思维改变复杂度 ：在TxtEx学习模型中，学习者收敛到最终假设之前所需的思维改变次数可作为学习复杂度的一种衡量。例如，对于语言类 $L_n = {L : \text{card}(L) \leq n}$，可以证明 $L_{n + 1} \in \text{TxtEx} {n + 1} - \text{TxtEx}_n$，这意味着在学习这类语言时，随着元素数量的增加，所需的思维改变次数也相应增加。
- 异常学习 ：对于异常学习，一个类 $C$ 若存在一个学习者，它最多进行 $b$ 次思维改变（$b = \infty$ 表示在类中每种语言的每个文本上思维改变次数有限，但不一定有常数界），且其最终假设最多允许 $a$ 个错误（$a = \infty$ 表示有限个错误），则该类是 $\text{TxtEx}_a^b$ 可学习的。这形成了一个二维层次结构，例如对于 $C_n = {f : \varphi_f(0) = n f}$，可以证明 $L {C_{n + 1}} \in \text{TxtEx} {n + 1}^0 - \text{TxtEx}_n$。
- 数据和时间复杂度
- 数据复杂度