15、机器学习中的决策树与计算学习理论

机器学习中的决策树与计算学习理论

1. 决策树相关问题

决策树在机器学习中是一种常用的分类工具。下面我们来探讨一些与决策树相关的问题。

1.1 决策树转换规则及测试移除

• 可以选择图 6.1 中的一个决策树，将其转换为一组规则。
• 从这些规则中挑选一条，确定移除哪些测试能使估计误差的增加最小。

1.2 连续属性的最佳二元分割

有一组十个训练示例，其中一个连续属性的值为：3.6、3.2、1.2、4.0、0.8、1.2、2.8、2.4、2、2、1.0。并且前五个示例和最后一个示例为正例，其他为反例。要找出该属性值范围的最佳二元分割。

1.3 深入思考的问题

• 评估标准的适用性 ：决策树评估的基线性能标准是错误率和树的大小（节点数量），但在某些领域可能并不适用。例如在一些对错误决策成本和获取属性值成本有特殊考量的应用中，树的大小或错误率可能不那么重要。
• 决策树优于 1 - NN 分类器的领域特征 ：考虑噪声、无关属性、训练集大小等特征，判断它们对分类器行为的影响，从而确定决策树明显优于基线 1 - NN 分类器的领域特征。
• 线性分类器表现更好的数据特征 ：线性分类器在某些数据上可能比决策树表现更好，至少具有两个特征来刻画这样的数据。
• 性能与数据特征的关系 ：对给定数据同时应用决策树归纳和线性分类器归纳，它们的性能能反