决策树学习基本算法

输入
训练集D={(x₁,y₁),(x₂,y₂),…(x_m,y_m)};
属性集A={a₁,a₂,…a_d}.
过程：函数TreeGenerate(D,A)

1. 生成结点node；
2. if D中样本全属于同一类别C：
   将node标记为C类叶结点；
   递归返回；
   end if
3. if A=空集 或 D中样本在A上取值相同：
   将node标记为D中样本数(当前结点)最多的类(成为叶结点)；
   递归返回；
   end if
4. 从A中选择最优划分属性a_*：

• a_*=argmax Gain（D,a）
  [最大化信息增益，偏好可取值数目较多的属性 ]
• a_*=argmax Gain_ratio（D,a）
  [ 最大化信息增益率，偏好可取值数目较少的属性]
• a_*=argmin Gini_index（D,a）
  [最小化基尼指数]

5. for a_* 的每个值 a‘_* do
   为node生成一个分支；令D_v表示D中在a_*上取值为a’_*的样本子集
   if D_v为空：
   将分支结点标记为D中样本数(父结点)最多的类(成为叶结点);
   递归返回；
   else
   以TreeGenerate（D_v，A{a_*}）为分支结点
   end if
   end for

输出
以node为根结点的一棵决策树