信息、信息熵、条件熵、信息增益、信息增益率、GINI指数、交叉熵、相对熵
在信息论与概率统计学中,熵(entropy)是一个很重要的概念。在机器学习与特征工程中,熵的概念也常常是随处可见。自己在学习的过程中也会常常搞混,于是决定将所有与熵有关的概念整理总结,方便查看和学习。1. 信息它是熵和信息增益的基础概念。引用香农的话,信息是用来消除随机不确定性的东西。如果一个带分类的事物集合可以划分为多个类别,则其中某个类(xi)的信息定义: ...
原创
2018-08-09 19:11:07 ·
6664 阅读 ·
0 评论