如何通过计算信息熵,进行决策树的分裂

假设训练集合包含以下10个元素:

这里写图片描述

其中s、m和l分别表示小、中和大。

设L、F和H表示日志密度、好友密度、是否使用真实头像,下面计算各属性的信息增益。

import math
#为了方便计算,我们定义一个计算信息值的函数,参数P为选择该分类的概率
def info_value(p):
    #try可以防止当p为0时,log2(p)计算报错
    try:
        result = -math.log2(p)
    except:
        result = 0
    finally:
        return result
#观察我们需要判断标签项(即账号是否为真的列)
# no 3个 p = 0.3
# yes7个 p = 0.7

#计算整体信息熵
info_D = 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值