_北海岸的蔚蓝

一、什么是决策树？ 决策树（Decision Tree）是一种非常经典的分类器，设计出来就是用来做分类的，就算之后被开发成也可以用来做回归，但是其实也是将数值区间看成一个类别来做。因其扩展通过节点的类别情况，每个类别会导致一个结果，将这个过程用图示的方式表示，很像一棵树，所以称为决策树。 二、如何构建决策树？ 决策树是一种监督学习算法，每个样本都有多个属性和一个类

一、什么是ID3决策树决策树概念：机器学习之决策树–原理分析ID3决策树是由Ross Quinlan在1986年提出的一种决策树，其可以说是决策树的最早实现，之后发展的决策树系列算法都是在ID3的基础上变化发展而来。ID3主要用于对标称数据进行分类，而未涉及对数值属性的分类。ID3算法用信息熵变化产生的信息增益做为最优特征的选择依据，即每一步都选择信息增益最大的特征进行数据集划分。二、什么是信息熵？

一、什么是C4.5决策树决策树概念：机器学习之决策树–原理分析C4.5决策树是由Ross Quinlan在ID3决策树–机器学习之决策树–ID3–基础上提出的一种改进版的决策树。C4.5主要改进了ID3中的一些问题：ID3不能做连续型数值属性的分类，C4.5改进了这个问题，可以处理连续型数值的分类ID3以信息增益为选择特征的依据，所以倾向于选择类别多的特征进行划分。C4.5选择信息增益率为特征选

一、什么是CART决策树决策树概念：机器学习之决策树–原理分析CART(Classification And Regression Tree)，即分类与回归树。由它的名字可以发现，它分为分类树和回归树两种。分类树就是决策树传统做的事情，ID3和C4.5就是做这个事情。那CART分类树和它们的区别是什么呢？ID3和C4.5是多分支的，而CART规定每个内部节点只能是二分的。其他过程和C4.5类似，同样