13、概念学习：超越合取概念与可学习性探究

概念学习：超越合取概念与可学习性探究

1. 超越合取概念

1.1 合取范式与 Horn 理论

合取范式表达式（CNF）是文字析取的合取，或者等价地说是子句的合取。之前讨论的文字合取，每个析取仅由单个文字组成，这是 CNF 的简单情况。CNF 表达式更具表达力，因为文字可以出现在多个子句中。

接下来关注学习 Horn 理论的算法，其中每个子句 A → B 是 Horn 子句，即 A 是文字的合取，B 是单个文字。为了方便表示，我们将注意力限制在布尔特征上，用 F 表示 F = true，用 ¬F 表示 F = false。例如，在海豚的例子中，我们使用布尔变量 ManyTeeth（表示 Teeth = many）、Gills、Short（表示 Length = 3）和 Beak。

1.2 学习 Horn 理论的直觉

在学习合取概念时，主要直觉是未覆盖的正例促使我们通过从合取中删除文字来进行泛化，而被覆盖的负例则需要通过添加文字来进行特化。在学习 Horn 理论时，这种直觉仍然适用，但现在我们需要考虑“子句”而不是“文字”。

如果一个 Horn 理论没有覆盖一个正例，我们需要删除所有违反该正例的子句。一个子句 A → B 违反一个正例，如果在该例子中合取 A 中的所有文字都为真，而 B 为假。

当考虑被覆盖的负例时，情况更有趣。我们需要找到一个或多个子句添加到理论中以排除该负例。例如，假设当前假设覆盖了负例 ManyTeeth ∧ Gills ∧ Short ∧ ¬Beak，我们可以向理论中添加 Horn 子句 ManyTeeth ∧ Gills ∧ Short → Beak 来排除它。虽然还有其