python数据分析/机器学习 笔记之决策树（泰坦尼克号旅客生存预测）

最近在学习用python数据分析，不可避免的接触到了机器学习的一些算法，所以在这里简单整理一些学习的笔记和心得与大家分享！

首先机器学习分为：监督学习和非监督学习，前者有参照物，后者为参照物；主要分为回归预测、分类预测、聚类等。

今天要学习的是监督学习中的决策树算法！决策树既可以用于回归也可用来分类，是较常用的模型之一。

下面直接说下用python实现决策树的数据分析

数据源：泰坦尼克号旅客信息（训练数据：特征信息和是否存货；测试数据：特征信息）

具体特征字段：

我们直接使用python中自带的sklearn 中自带的决策树分类器  DecisionTreeClassifier

clf = DecisionTreeClassifier(criterion='entropy')

sklearn 中只实现了 ID3 与 CART 决策树，在构造 DecisionTreeClassifier 类时，其中有一个参数是 criterion，意为标准。

它决定了构造的分类树是采用 ID3 分类树，还是 CART 分类树，对应的取值分别是 entropy 或者 gini

entropy: 基于信息熵，也就是 ID3 算法，实际结果与 C4.5 相差不大；

gini：默认参数，基于基尼系数。criterion=gini 时，实际上执行的是 CART 。

在构造决策树分类器后，我们可以使用 fit 方法让分类器进行拟合，使用 predict 方法对新数据进行预测，得到预测的分类结果，也可以使用 score 方法得到分类器的准确率。