decision tree Learning 决策树学习笔记

decision tree Learning 决策树学习笔记

一、概念和基本流程

   决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。决策树是一种监管学习方法，虽然简单，但是比较高效。目前比较常用和成功的算法有ID3和C4.5，本文也在后面将介绍。

决策树的决策过程如下图所示：

  结构呈树形结构，一般的，一颗决策树包含有一个根节点，若干个内部节点和若干个叶子节点。叶子节点对应的是决策的结果，即类别（如图中的yes和no两个类别）；其他的节点对应的是一个属性上的测试（如根节点是outlook属性，该属性分别有sunny、overcast、rain三个属性值）。