机器学习算法:决策树

决策树算法简述

我们做一系列决定时, 会根据我们最关注的点, 一步一步推想得出最终决定, 例如找女朋友的决策过程, 价值观融洽–>貌美如花–>乐观开朗–>勤劳上进–> 不顾一切地追求. 这就是一个决策树. 对于机器而言, 决定目标是否重要是根据信息熵来决定的.在计算时, 信息熵的熵减最大的目标, 就是最重要的目标. 通俗来讲, 一个目标由多种因素构成, 每中因素的有无, 对整个目标的判断影响是一个百分比, 比值越大的, 熵减越大, 它就是越重要的信息.

决策树代码示例

数据集链接 提取码: nuun

# 使用决策树预测泰坦尼克号生存概率
from numpy.core import overrides
import pandas as pd
from sklearn.model_selection import train_test_split
# 字典抽取转换工具
from sklearn.feature_extraction import DictVectorizer
# 决策树估计器
from sklearn.tree import DecisionTreeClassifier
# 模型文件管理工具
import joblib

taitan = pd.read_csv("titanic.txt")

x = taitan[["pclass", "age", "sex"]]
y = taitan[["survived"]]

# 对x中的age进行填充处理
x["age"].fillna(x["age"].mean(), inplace=True)
print(x["age"])

# 数据分割
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3)

# 特征工程: 字典抽取转换
dv = DictVectorizer()
# 这里x_train.to_dict(orient="records")的格式转换需要记忆
x_train = dv.fit_transform(x_train.to_dict(orient="records"))
x_test = dv.transform(x_test.to_dict(orient="records"))

# 使用决策树估计器建模
dtree = DecisionTreeClassifier(max_depth=5)
dtree.fit(x_train, y_train)

# 验证准确率
score = dtree.score(x_test, y_test)
print("模型准确率:", score)

if score >= 0.8:
    joblib.dump(dtree, "titanic.pkl")
    print("保存决策树模型完成")
else :
    print("模型不合格")