机器学习-周志华-课后习题答案-决策树

本文为博主原创，由于没有可以参考的答案，所以内容中若有错误的地方烦请指正，不甚感激。

注：本文中的代码均使用python，常用工具包包括 pandas，scikit-learn，numpy， scipy，matplotlib等。

4.1试证明对于不含冲突数据（即特征向量完全相同但标记不同）的训练集，必存在与训练集一致（即训练误差为0）的决策树

答：假设不存在与训练集一致的决策树，那么训练集训练得到的决策树至少有一个节点上存在无法划分的多个数据（若节点上没有冲突数据，那么总是能够将数据分开的）。这与前提-不含冲突数据 矛盾，因此必存在与训练集一致的决策树

 

4.2试析使用“最小训练误差”作为决策树划分选择的缺陷。

答：若以最小训练误差作为决策树划分的依据，由于训练集和真是情况总是会存在一定偏差，这使得这样得到的决策树会存在过拟合的情况，对于未知的数据的泛化能力较差。因此最小训练误差不适合用来作为决策树划分的依据。

 

4.3试编程实现基于信息熵进行划分选择的决策树算法，并为表4.3中数据生成一棵决策树

答：基于信息熵进行划分选择的决策树算法即ID3决策树，代码见我的另外一篇博文：ID3决策树的Python实现

4.4试编程实现基于基尼指数进行划分选择的决策树算法，并为表4.2中数据生成预剪枝、后剪枝决策树，并与未剪枝决策树进行比较。

答：基于基尼指数进行划分选择的决策树算法即CART决策树，代码见我的另外一篇博文：CART决策树与剪枝处理

4.5试编程实现基于对率回归进行划分选择的决策树算法，并为表4.3中数据生成一棵决策树

答：由于不知道该如何用对率回归做划分选择，所以此题暂时不会写。若读到此文的朋友了解相关内容可以在文后评论。非常感激~

 

4.6试选择4个UCI数据集，对上述3种算法所产生的未剪枝、预剪枝、后剪枝决策树进行实验比较，并进行适当的统