本文介绍了ID3算法，这是一种基于信息熵下降速度选取测试属性的决策树生成算法。文中详细解释了信息熵的概念及其如何用于衡量信息增益度，并提供了算法的具体实现思路。
1、算法描述
ID3算法是以信息熵下降速度作为选取测试属性的标准的，决策树生成算法。
信息熵的下降速度用信息增益度来衡量其定义是：
-
定义1：若存在n个相同概率的消息，则每个消息的概率p是1/n，一个消息传递的信息量为Log2(1/n)
-
定义2：若有n个消息，其给定概率分布为P=(p1,p2…pn)，则由该分布传递的信息量称为P的熵，记为
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
