基于规则的分类(顺序覆盖算法)及最近邻分类器(KNN算法)

顺序覆盖算法的步骤

顺序覆盖算法的目标是提取一个分类规则，该规则覆盖训练集中大量正例，没有或仅覆盖少量反例。
整个过程包含以下四个步骤：

• 规则增长
• 规则评估
• 停止准则
• 规则剪枝

顺序覆盖算法的第一步——规则增长

一般到特殊（通常采用的策略）

• 从初始规则r: {}→y开始
• 反复加入合取项，得到更特殊的规则，直到不能再加入
  特殊到一般（适用于小样本情况）
• 随机地选择一个正例作为初始规则
• 反复删除合取项，得到更一般的规则，直到不能再删除

从一般到特殊的规则生成策略中，每次只考虑一个最优的（属性，值）这显得过于贪心，容易陷入局部最优麻烦
为了缓解该问题，可以采用一种“束状搜索“的方式

• 具体做法为：每次选择添加的（属性，值)时，可以保留前k个最优的（属性，值） ，而不是只选择最优的那个，然后对这k个最优的（属性，值）继续进行下一轮的（属性，值）添加。

顺序覆盖算法的第二步——规则评估

常用的度量

• 准确率
• 似然比
• 准确率的平滑Laplace
• FOIL信息增益

然而r2并未覆盖反例,因此r2并不准确,然而r2的准确率高于r1,因此只看准确率去评估规则并不