20、非概率分类器：规则归纳与人工神经网络

非概率分类器：规则归纳与人工神经网络

在机器学习和数据分析领域，分类是一项重要的任务。非概率分类器作为其中的一个重要分支，包括规则归纳和人工神经网络等方法，在解决各种实际问题中发挥着关键作用。本文将详细介绍这些分类器的原理、算法以及应用实例。

1. 规则归纳

规则归纳是一种透明的监督分类方法，旨在从一组实例中提取规则。规则通常具有“IF (条件) THEN (类别)”的形式，其中条件部分称为规则的前件，类别部分称为后件。规则归纳模型易于理解和应用，比分类树更具通用性，因为每个分类树都可以转换为规则归纳模型，但反之则不一定成立。

1.1 1R 算法

1R 算法基于单个变量对实例进行分类。对于连续变量，它将可能值的范围离散化为多个不相交的区间，要求每个区间包含超过预定义数量的具有相同类别值的实例。对于每个变量的可能值，1R 构建一个规则，选择其最优类别值作为后件。最优类别值是该前件下最频繁出现的类别值。如果有多个最优类别值，1R 会随机选择一个。最后，1R 从所有变量的规则中选择准确率最高的规则添加到假设集。

1.2 AQR 算法

AQR 算法是一种归纳系统，为每个类别生成一组分类规则。规则的形式为“IF (覆盖条件) THEN (类别)”，其中覆盖条件是变量测试的组合。AQR 通过阶段式过程生成规则，每个阶段生成一个复杂条件，并从训练数据集中移除被该条件覆盖的实例，直到找到足够的复杂条件覆盖所选类别的所有实例。在生成复杂条件时，AQR 采用启发式方法，最大化覆盖的正实例数量并排除负实例。

1.3 CN2 算法

CN2 算法结合了 AQR 和 ID3 的特点，生成一个有序的