根据样本标签，计算信息熵。将calEntropy函数补充完整

莫道桑榆晚g

于 2023-03-31 15:07:13 发布

阅读量204

点赞数

文章标签： numpy python 开发语言

本文链接：https://blog.youkuaiyun.com/m0_56093188/article/details/129880642

版权

该代码定义了一个名为`calcInfoGain`的函数，用于计算基于特征和标签的信息增益。它首先定义了一个辅助函数`total_cal`来计算熵，然后对特征的不同值进行分割，计算子集的熵和大小，最后计算信息增益。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import numpy as np


 

def calcInfoGain(feature, label, index):

    #*********** Begin ***********#

    

    def total_cal(label):

        label_set = set(label)

        result = 0

        for i in label_set:

            p=list(label).count(i)/len(label)

            result-=p * np.log2(p)

        return result

    aba=[]

    length=[]

    for value in set(feature[:,index]):

        # num=feature[:,index].count(value)

        sub_label = []

        for i in range(len(feature)):

            if feature[i][index] == value:

                sub_label.append(label[i])

        aba.append(total_cal(sub_label))

        length.append(len(sub_label)/len(label))

        

    res=total_cal(label)-length[0]*aba[0]-length[1]*aba[1]

    return res