机器学习——决策树

1.ID3决策树是怎么构建的？

    （1）数据是怎么分裂的

     （2）如何选择分类的属性

     （3）什么时候停止分裂

对于连续型数据，ID3原本是没有处理能力的，只有通过离散化将连续性数据转化成离散型数据再进行处理。

2.ID3有什么不足？

    (1)信息增益的计算依赖于特征数目较多的特征，而属性取值最多的属性并不一定最优。

    (2)ID3是非递增算法。

    (3)ID3是单变量决策树(在分枝节点上只考虑单个属性)，许多复杂概念的表达困难，属性相互关系强调不够，容易导致决策树中子树的重复或有些属性在决策树的某一路径上被检验多次。

    (4)抗噪性差，训练例子中正例和反例的比例较难控制。

3.C4.5决策树是什么？CART树又是什么？

  C4.5是在ID3算法的基础上采用信息增益率的方法选择测试属性。

CART算法采用一种二分递归分割的技术，与基于信息熵的算法不同，CART算法对每次样本集的划分计算GINI系数，GINI系数，GINI系数越小则划分越合理。

4，决策树防止过拟合的策略？

(1).预剪枝

通过提前停止树的构建而对树剪枝，一旦停止，节点就是树叶，该树叶持有子集元祖最频繁的类。

(2).后剪枝方法

   它首先构造完整的决策树，允许树过度拟合训练数据，然后对那些置信度不够的结点子树用叶子结点来代替，该叶子的类标号用该结点子树中最频繁的类标记。相比于先剪枝，这种方法更常用，正是因为在先剪枝方法中精确地估计何时停止树增长很困难。

5.sklearn中用于回归的决策树和用于分类的决策树是怎么调用的？