用python实现求信息增益，进行特征选择。

最新推荐文章于 2025-03-09 17:00:33 发布

上帝公式

最新推荐文章于 2025-03-09 17:00:33 发布

阅读量6.4k

点赞数 3

分类专栏：机器学习和深度学习文章标签：器器学习特征选择信息增益散散变量

本文链接：https://blog.youkuaiyun.com/fei13971414170/article/details/80009985

版权

这篇博客介绍如何使用Python编程实现信息增益计算，适用于包含离散型和连续型属性的特征选择任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用python语言，实现求特征选择的信息增益，可以同时满足特征中有连续型和离散型属性的情况。

##师兄让我做一个特征选择的代码，我在网上找了一下，大部分都是用来求离散型属性的信息益益，但是我的数据是同时包含离散型和连续型属性的，所以这里实现了一下。

代码块


import numpy as np
import math

class IG():
    def __init__(self,X,y):

        X = np.array(X)
        n_feature = np.shape(X)[1]
        n_y = len(y)

        orig_H = 0
        for i in set(y):
            orig_H += -(y.count(i)/n_y)*math.log(y.count(i)/n_y)

        condi_H_list = [