基于信息增益的离散化方法

mambasmile

于 2018-07-31 17:13:26 发布

阅读量2.6k

点赞数

分类专栏：数据挖掘技术

本文链接：https://blog.youkuaiyun.com/qq_26890109/article/details/81316980

版权

本文探讨了如何使用信息增益作为衡量标准进行数据离散化。通过这种方法，可以有效地将连续数值特征转换为离散的类别，从而简化数据处理，提升机器学习模型的性能。信息增益有助于识别变量的重要程度，并指导特征的最优划分。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

class Feature_Discretization(object):

    def __init__(self):

        self.min_interval = 1  # 最小间隔
        self.min_epos = 0.05  # 信息增益阈值
        self.final_bin = []  # 最终边界

    def fit(self, x, y, min_interval=1):
        self.min_interval = min_interval
        # x = np.floor(x)
        # x = np.int32(x)
        min_val = np.min(x)
        bin_dict = {}
        bin_li = []
        for i in range(len(x)):
            pos = (x[i] - min_val) / min_interval * min_interval + min_val
            target = y[i]
            bin_dict.setdefault(pos, [0, 0])
            if target == 1:
                bin_dict[pos][0] += 1
            else:
                bin_dict[pos][1] += 1  # 标签one-hot的操作

        for key, val in bin_dict.iteritems():
            t = [float(key)]
            t.extend(val)
            bin_li.append(t)

        bin_li.sort(cmp=None, key&