WPR1991的博客

    决策树作为一种分类算法，由于其强解释性与低学习成本，而广受欢迎，本篇文章仅从理论层面解释该算法的实现逻辑与数学推导过程。    说起决策树，离不开对信息熵的理解，该词来源于信息论，信息熵这个词对于我们来说比较陌生，用书面语说，信息熵就是所有可能发生事件所带来的信息量的期望。我用自己的通俗理解将其解释为：获取一个结论所需要的信息量（或者说获取结论而需要付出的代价）。举个例子，我需要判断一...

朴素贝叶斯属于监督学习的生成模型，实现简单，没有迭代，学习效率高，在大样本量下会有较好表现。但因为假设太强——特征条件独立，在输入向量的特征条件有关联的场景下，并不适用。朴素贝叶斯算法：主要思路是通过联合概率建模，运用贝叶斯定理求解后验概率;将后验概率最大者对应的类别作为预测类别。首先定义训练集,其类别。输入待预测的数据，预测类别：                         ...

上篇文章讨论了决策树算法的原理，这一节直接附上代码，代码整理自博友，链接如下：https://blog.youkuaiyun.com/c406495762/article/details/76262487# 年龄：0代表青年，1代表中年，2代表老年；# 有工作：0代表否，1代表是；# 有自己的房子：0代表否，1代表是；# 信贷情况：0代表一般，1代表好，2代表非常好；# 类别(是否给贷款)：...