决策树分类如何计算每个类别的概率

最新推荐文章于 2022-11-01 09:32:41 发布

原创

最新推荐文章于 2022-11-01 09:32:41 发布 · 1.4w 阅读

57 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #决策树

本文通过实例演示了决策树如何预测样本属于各类别的概率，并解释了这些概率背后的计算原理。通过对决策树可视化的分析，揭示了不同特征值如何影响样本被归类的概率。

1. 为什么要知道每个样本其所属类别的概率？

虽然决策树可以做到对样本分类，但在算法使用中也会遇到这种情况，模型对样本X进行预测，样本X属于A的概率为51% 属于B的概率为49%，这时虽然算法给出结论是样本X属于A类。但是其对这次预测的结果把握性并不是很大。对于现实中某些宁可不做也不要出现错误的场景来说，这次预测并不是我们所需要的。所以，做算法的时候我们需要模型输出样本属于每个类别的概率。

2. 决策树如何计算每个样本的概率？

2.1 决策树结果可视化

为了方便理解，这里面先讲决策树的可视化，可视化出来后，应该十分容易理解，决策树是如何给出每个样本概率的！

这里以决策树模型，对鸢尾花数据分类为例，代码如下：

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
import numpy as np
from sklearn import tree
from sklearn.ensemble import RandomForestClassifier
import graphviz

if __name__ == '__main__':
    x = load_iris().data
    y = load_iris().target
    feature_names = load_iris().feature_names

    np.random.seed(12)  # 打乱顺序，使用相同的seed，保证输入特征和标签一一对应
    np.random.shuffle(x)
    np.random.seed(12)
    np.random.shuffle(y)

    x_train = x[:10, :]  # 因为这里面主要为了看效果，所以这里只用了10个样本 
    y_train =