数据挖崛之ID3算法

今天想详细地写一下ID3算法，ID3算法是一种决策树算法，也是最经典的决策树分类算法。首先看看什么是决策树

决策树：

    决策树是一树状结构，它的每一个叶节点对应着一个分类，非叶子节点对应着某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。

构造决策树的核心问题是什么?

   构造决策树的核心问题是每一步选择适当的属性对样本进行拆分。

决策树在分类，预测，规则提取方面有广泛的应用，下面看看决策树算法

   1.   ID3算法

   2.    CART算法

   3.   C4.5算法

ID3算法:

     ID3算法是基于信息熵值来选择最佳测试属性。它选择当前样本中最大信息增益值的属性作为测试属性。、

      在了解ID3算法之前，需要了解

                   1. 什么是信息熵，它有什么含义

                   2. 什么是信息增益