机器学习算法基础——决策树、随机森林

决策树

认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。

信息的度量和作用

假设有32支球队，猜谁是冠军？
每猜一次给一块钱，告诉我是否猜对了，那么我需要掏多少钱才能知道谁是冠军？我可以把球编上号，从1到32，然后提问：冠军在1-16号吗？依次询问，只需要五次，就可以知道结果。

1.信息的单位：比特
32支球队，log32=5比特
64支球队，log64=6比特

2.信息熵
“谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：H = -(p1logp1 + p2logp2 + … + p32log32)。

H的专业术语称之为信息熵，单位为比特。公式：
当这32支球队夺冠的几率相同时，对应的信息熵等于5比特。

信息和消除不确定性是相联系的：了解的信息越多，信息熵越小，不确定性越小。

决策树的划分依据之一：信息增益

信息增益：表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。

特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：
信息熵的计算：

条件熵的计算：
注：$C_k$表示属于某个类别的样本数。

银行贷款数据

常见决策树使用的算法

●ID3
信息增益 最大的准则
●C4.5
信息增益比 最大的准则
●CART
回归树: 平方误差 最小
分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的默认原则（基尼系数划分更加细致）

sklearn决策树API

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
  决策树分类器
  criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
  max_depth:树的深度大小
  random_state:随机数种子
  method:
  decision_path:返回决策树的路径

泰坦尼克号乘客生存分类模型

我们提取的数据集中的特征是票的类别，存活，乘坐班，年龄，登陆，home.dest，房间，票，船和性别。乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。其中age数据存在缺失。

流程：
1、pd读取数据
2、选择有影响的特征，处理缺失值
3、进行特征工程，pd转换字典，特征抽取x_train.to_dict(orient=“records”)
4、决策树估计器流程

import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier,export_graphviz
def decision():
    #决策树预测泰坦尼克号乘客生存
    
    #获取数据
    titan = pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')
    
    #处理数据，找出特征值和目标值
    #取出pclass,age,sex三个特征
    x = titan[['pclass','age','sex']]
    y = titan['survived']
    
    #缺失值处理,用均值去填补，inplace替换
    x['age'].fillna(x['age'].mean(),inplace=True)  
    print(x)
    #分割数据集到训练集和测试集
    x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)
    
    #进行处理（特征工程） 特征是类别，one-hot编码处理
    dict = DictVectorizer(sparse=False)
    x_train = dict.fit_transform(x_train.to_dict(orient='records'))   #一行一行的转换到字典
    print(dict.get_feature_names())
    x_test = dict.transform(x_test.to_dict(orient='records'))
    print(x_train)
    
    #用决策树进行预测
    dec = DecisionTreeClassifier()
    dec.fit(x_train,y_train)

    #预测准确率
    print('预测的准确率：',dec.score(x_test,y_test))
    
    #导出决策树的结构
    export_graphviz(dec,out_file='./tree.dot',feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])
    return None

if __name__ == '__main__':
    decision()

【决策树的结构、本地保存】
1、sklearn.tree.export_graphviz() 该函数能够导出DOT格式
tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])
2、工具:(能够将dot文件转换为pdf、png)
安装graphviz
ubuntu:sudo apt-get install graphviz
Mac:brew install graphviz
3、运行命令
然后我们运行这个命令$ dot -Tpng tree.dot -o tree.png

决策树的优缺点以及改进

1.优点：
（1）简单的理解和解释，树木可视化。
（2）需要很少的数据准备，其他技术通常需要数据归一化。
2.缺点：
（1）决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
（2）决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成。
3.改进：减枝cart算法（决策树API中已经实现）、随机森林

集成算法——随机森林

集成学习方法

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

随机森林

1.定义：在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

2.学习算法
根据下列算法而建造每棵树：
用N来表示训练用例（样本）的个数，M表示特征数目。
（1）从N个训练用例（样本）中以有放回抽样的方式，取样N次，形成一个训练集（即bootstrap取样），并用未抽到的用例（样本）作预测，评估其误差。
（2）输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于M，建立决策树。

随机森林API

随机森林分类器
sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’, max_depth=None, bootstrap=True,
random_state=None,max_features=‘auto’)
  n_estimators：integer，optional（default = 10） 森林里的树木数量
  criteria：string，可选（default =“gini”）分割特征的测量方法
  max_depth：integer或None，可选（默认=无）树的最大深度
  bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样(默认=无）
  max_features=‘auto’，每个决策树的最大特征数量。
——if ‘auto’,max_features=sqrt(n_features)
——if ‘sqrt’,max_features=sqrt(n_features),同上
——if ‘log2’,max_features=log2(n_features)
——if None,max_features=n_features

【演示：接上一个代码】

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
#引入随机森林和网格搜索API

#在建立分割好数据集后
#随机森林进行预测 （超参数调优）
    rf = RandomForestClassifier()
    param = {'n_estimators':[120,200,300,500,800,1200],'max_depth':[5,8,15,20]}
    #网格搜索与交叉验证
    gc = GridSearchCV(rf,param_grid=param,cv=2)
    gc.fit(x_train,y_train)
    print('准确率：',gc.score(x_test,y_test))
    print('查看选择的参数模型：',gc.best_params_)

随机森林的优点

1.在当前所有算法中，具有极好的准确率
2.能够有效地运行在大数据集上
3.能够处理具有高维特征的输入样本，而且不需要降维
4.能够评估各个特征在分类问题上的重要性
5.对于缺省值问题也能够获得很好得结果

【总结】