17、规则模型：有序规则列表学习与应用

规则模型：有序规则列表学习与应用

1. 规则模型概述

规则模型是逻辑机器学习模型的第二大主要类型。相较于树模型，它通常具有更高的灵活性。例如，决策树的分支相互排斥，而规则之间的潜在重叠可能会提供额外的信息。不过，这种灵活性是有代价的。在监督学习中，规则模型不仅仅是一组规则，规则如何组合以形成预测的具体方式也是模型的关键部分。

监督规则学习主要有两种方法：
- 受决策树学习启发的方法：找到一组文字组合（规则体，即之前所说的概念），使其覆盖足够同质的示例集，并为规则头找到合适的标签。
- 相反方向的方法：先选择要学习的类别，然后找到能覆盖该类别（大部分子集）示例的规则体。第一种方法自然会形成一个有序的规则序列，即规则列表；第二种方法将规则集合视为无序的规则集。

2. 学习有序规则列表

2.1 规则学习算法的核心思想

这种规则学习算法的关键思想是通过添加最能提高规则体同质性的文字来不断扩展合取规则体。我们在假设空间中构建一条向下的路径，一旦满足某些同质性标准就停止。与决策树类似，我们自然地用纯度来衡量同质性。

添加文字到规则体与在决策树中添加二元分割有所不同。在决策树学习中，我们关注两个子节点的纯度，因此使用加权平均杂质作为搜索启发式；而在规则学习中，我们只关注添加文字为真的那个子节点的纯度，所以可以直接使用之前章节考虑过的任何杂质度量，无需进行平均。

实际上，使用哪种杂质度量来指导搜索并不重要，因为它们都会得到相同的结果。杂质与经验概率 $\dot{p}$（覆盖的正例相对频率）的关系是：当 $\dot{p} > 1/2$ 时，杂质随 $\dot{p}$ 减小；当 $\do