博客

决策树信息熵(Entropy)H(X)H(X)H(X)就叫做随机变量X的信息H(x)=−∑i=1mpilog2(pi)H(x)=-\sum_{i=1}{m}p_ilog_2(p_i)H(x)=−∑i=1​mpi​log2​(pi​)信息量：指的是一个样本/事件所蕴含的信息，如果一个事件的概率越大，那么就可以认为该事件所蕴含的信息越少。极端情况下，比如：“太阳从东方升起”，因为是确定事件，所以不携带任何信息量。信息熵：1948年，香农引入信息熵；一个系统越是有序，信息熵就越低，一个系统越

KNN算法基本原理

机器学习回归算法简介