3、机器学习中的规则学习与决策树学习方法

机器学习中的规则学习与决策树学习方法

1. 单类学习的AQ算法

1.1 规则生成过程

在学习单个类别 $c$ 时，AQ 算法会生成一组规则，每个规则识别类别 $c$ 的正例子集。规则生成步骤如下：
1. 从类别 $c$ 的正例集合中选择一个“种子”示例 $E$。
2. 尽可能对示例 $E$ 的描述进行泛化，即从描述中抽象出尽可能多的属性。AQ 从抽象所有属性的极端情况开始，第一条规则形式为 “if true then predict class $c$”。
3. 由于这条规则通常过于泛化，需要逐步进行特化以排除越来越多的负例。对于当前规则覆盖的负例 $neg$，AQ 会搜索一种特化方法来排除它。特化通过在规则的条件部分添加另一个条件来实现，这个条件是种子示例的一个选择器，即一个适用于种子示例但不适用于当前考虑的负例 $neg$ 的属性值组合。
4. 持续搜索合适的规则，直到生成的规则仅覆盖类别 $c$ 的示例，而不覆盖其他类别的负例。

1.2 示例：宜人天气规则学习

以宜人天气类别为例，假设选择示例 4 作为种子示例，其描述为 $E = [(a = true) \land (b = false) \land (c = true) \land (d = false)]$。
- 初始规则：“if true then pleasant”，该规则覆盖了已知的不宜人天气情况，需要特化。
- 考虑每个属性的重新引入：
- 属性 $a$：条件 $(a = false)$ 与示例 1 和 2（均为负例）不一致。
- 属性 $b$：条件 $(b = false)$ 排除了示例 1 和 2（负