weixin_44835596的博客

决策树建树原理之ID3建树原理（一） 信息熵 在ID3算法之中，建树的时候，是根据信息增益挑选最具有解释能力的变量，在了解信息增益之前需要先了解信息熵和条件熵。 对于一个变量AAA，变量AAA中有n1n_1n1​个水平个数，则信息熵的数学表达式如下： Entropy(A)=−∑i=1n1pilog(pi) Entropy(A)=-\sum_{i=1}^{n_1}p_ilog(p_i) Entrop...

决策树学习笔记——决策树建树原理之C4.5和C5.0（二） 在上一篇决策树学习笔记——决策树建树原理之ID3建树原理（一）.已经简单介绍了ID3算法的建树原理，以及附上了Python计算信息增益的代码。 C4.5原理 由ID3算法的原理知，ID3算法的弊端在于更倾向于选择水平数量较多的自变量，因为当自变量水平数量较多时，信息增益就越大，并且输入的自变量必须是分类型变量，而C4.5改变了ID3算法中...