kristing的博客

决策树决策树既可以用于分类问题，也可以用于回归问题。熵是表示随机变量不确定性的度量，熵越大，随机变量的不确定性就越大。熵的计算如下：H(X)=−∑i=1npilogpiH(X)=-\sum\limits_{i=1}^np_ilogp_iH(X)=−i=1∑n​pi​logpi​决策树有三种选择特征的方式：信息增益：g(D,A)=H(D)−H(D∣A)g(D,A)=H(D)-H(D|A)g(...