数据挖掘 概念与技术——读书笔记（8）

基本概念

什么是分类

• 构造一个模型或分类器来预测类标号
  类别可以用离散值表示，且其中的次序没有意义。
• 预测一个连续函数或有序值
  预测器进行数值预测，回归分析是最常用的方法。

分类的一般方法

• 学习阶段
  使用训练元祖构建分类模型，由于提供了每个训练元祖的类标号，这一阶段称为监督学习
• 分类阶段
  使用模型预测检验集（独立于训练元祖）的类标号，如果使用训练集来度量分类器的准确率，分类器结果会很乐观，以为趋向于过分拟合。

决策树归纳

决策树是一种类似于流程图的树结构。
内部结点（非树叶结点）表示在一个属性上的测试，每个分枝代表该测试的一个输出，而每个树叶结点存放一个类标号。
决策树容易转换成分类规则。
决策树适合于探测式知识发现，可以处理高维数据。

基本算法

ID3、C4.5（ID3的后继）和CART都采用贪心（即非回溯的）方法，其中决策树以自顶向下递归的分治方式构造。

属性选择度量

属性选择度量是一种选择分裂准则，把给定类标记的训练元祖的数据分区D“最好地”划分成单独类的启发式方法。