机器学习信息熵与信息增益

最新推荐文章于 2024-04-30 00:01:02 发布
最新推荐文章于 2024-04-30 00:01:02 发布
阅读量268 收藏
点赞数
分类专栏： 深度学习
原文链接：https://www.jianshu.com/p/69dbb042a0e3
版权
机器学习笔记 - 信息增益和香农熵
学以致用 知行合一
09-20 623
如何合理的划分数据集？划分数据集的大原则是：将无序的数据变得更加有序。组织杂乱无章数据的一种方法就是使用信息论度量信息，在划分数据集之前之后信息发生的变化称为信息增益，知道如何计算信息增益，我们就可以 计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。 在可以评测哪种数据划分方式是最好的数据划分之前，我们必须学习如何计算信息增益。集合信息的度量方式称为香农熵或者简称为熵，这个名字来源于信息论之父克劳德·香农。 熵定义为信息的期望值，在明晰这个概念之前，我们必须知道
【机器学习】信息、信息熵、信息增益、增益率及基尼系数的概念总结
小哲的博客
12-07 4102
信息、信息熵、信息增益、增益率及基尼系数的概念总结 信息 信息是用来消除随机不确定性的东西。对于机器学习中的决策树而言，如果待分类的事物集合可以划分为多个类别当中，则第k类的信息可以定义如下： 信息熵 信息熵是用来度量不确定性，当熵越大，k的不确定性越大，反之越小 假定当前样本集合D中第k类样本所占的比例为，则D的信息熵定义为： 信息增益 信息增益在决策树算法中是用来选择特征...
决策树，信息熵，信息增益计算----机器学习
鹿西西吧的博客
11-18 1万+
决策树（decision tree）决策树简单介绍信息量信息熵信息增益 决策树简单介绍 决策树是一种基于树状结构来做决策的。是一种常见的机器学习方法。主要做分类，也可以做回归。一棵决策树含有一个根结点（样本全集），若干个内部结点和若干个叶结点（最终结论）。 简单的一个例子。比如我们相亲的时候，老母亲甩出来一沓照片来让你做选择。这时候我们会问一些问题来做一下筛选，比如对方的年龄，相貌，工作收入，家庭住址等等等，然后最终确定选择两个或三个人去见。 这一系列问题和层层的筛选判断就是在做决策，这些问题为“子决策”。
机器学习——信息熵与信息增益
qq_53142796的博客
05-17 1864
信息熵越小，说明数据集的纯度越高。信息熵是衡量数据集纯度的指标之一，它是对数据集中所有类别出现概率进行加权平均所得到的一个值。代表的是在一个条件下，信息复杂度（不确定性）减少的程度，也即纯度提高的程度。信息增益越大，表示信息的不确定度降低的越多，即信息的纯度越高。信息熵越小越好，信息增益越大越好。问：信息熵越大说明其纯度越高。
机器学习--信息 信息熵 信息增益
weixin_34152820的博客
12-10 359
信息： 信息这个概念的理解更应该把他认为是一用名称，就比如‘鸡‘(加引号意思是说这个是名称)是用来修饰鸡(没加引号是说存在的动物即鸡)，‘狗’是用来修饰狗的，但是假如在鸡还未被命名为'鸡'的时候，鸡被命名为‘狗’，狗未被命名为‘狗’的时候，狗被命名为'鸡'，那么现在我们看到狗就会称其为‘鸡’，见到鸡的话会称其为‘鸡’，同理，信息应该是对一个抽象事物的命名，无论用不用‘信息’来命名这种抽象事物...
[机器学习]信息熵、信息增益的概念
cn_wk的专栏
11-25 1900
信息熵信息熵 表示 随机变量 的 不确定性。不确定性越大(即所谓的信息量越大)，信息熵越大。信息可不可以量化？ 首先从直觉上来讲，是可以的。不然我们怎么觉得有的人废话特别多，却没什么信息量；而有的人一语中的，一句话就传达了很大的信息量。 为什么有的信息大，有的信息小？ 有些事情本来不是很确定：例如 明天股票是涨是跌； 1）“明天NBA决赛开始了“，和“股票跌涨“没关系，所以“明天N
机器学习----熵，信息增益与决策树（Decision Tree）
skyllerone的博客
10-09 1205
决策树
【机器学习】揭秘机器学习的“三剑客”：信息熵、条件熵与信息增益
制定明确可量化的目标，坚持默默的做事。
04-30 2万+
机器学习中的“三剑客”——信息熵、条件熵与信息增益，是理解数据特征与决策过程的关键工具。信息熵衡量数据的不确定性，条件熵则描述了在给定条件下数据的不确定性变化。而信息增益则通过比较两者，揭示某一特征对减少不确定性的贡献，帮助机器学习算法如决策树进行特征选择，优化分类与回归效果。这三者共同构成了机器学习领域数据分析和决策优化的重要基石。
机器学习-第2关：信息熵与信息增益
qq_55882332的博客
05-18 3717
importnumpyasnp defcalcInfoGain(feature,label,index): ''' 计算信息增益 :paramfeature:测试用例中字典里的feature，类型为ndarray :paramlabel:测试用例中字典里的label，类型为ndarray :paramindex:测试用例中字典里的index，即feature部分特征列的索引。该索引指的是feature中第几个特征，如i...
机器学习---熵，信息增益，信息增益率
weixin_43854256的博客
12-13 2682
熵 熵在信息论中被用来度量信息量，熵越大，所含的有用信息越多，其不确定性也就越大；熵越小，有用信息越少，确定性也就越大。 决策树中，用熵来表示样本集的不纯度，样本集中样本种类越小，确定性越高，熵值越小；样本种类越多，越不确定，熵值越大。 熵例子 设S是数量为n的样本集，其分类属性有n个不同的取值，用来定义m个不同的分类Ci(i=1,2,⋯,m)，则其熵的公式是： 如果有一个大小为10的布尔值样本集Sb，其中有6个真值，4个假值，那么该布尔型样本分类的熵是： 信息增益 计算得到熵作为衡量样本集合不纯度的指
浅析互信息（信息增益）
l1258914199的专栏
03-30 4698
互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。这是百度百科的定义，本文的重点是从不同的角度去理解互信息，介绍一些基本的规律，为了简单本文只对其离散的情况考虑。 在介绍互信息前首先更应该知道什么是信息熵，信息熵是香农从物理理论中的热熵引入到信息论中的，热
信息熵与信息增益
笔记小屋
03-07 9975
前言 熵在机器学习中用的非常普遍，但这个又难以理解，经常忘记，写一篇博客记录一下，也方便其他人学习了解。 什么是熵 一开始接触熵是大二的信息论，非常难的一门课，当时学的时候不知道这个东西有什么用，完全就不太想学，因为不知道干嘛，也不知道学了有什么用，但是现在很后悔，定义：熵也叫信息熵，可以表征随机变量分布的混乱程度，分布越混乱，则熵越大，简易的解释就是：在一个随机事件中，某个事件发生的不确定度越大...
机器学习----对于信息熵和信息增益的理解（基于决策树）
weixin_43580130的博客
07-24 1203
引入 在了解信息熵和信息增益之前我们先明确以下几个概念： 1.信息：某人（模型）判断一个宏观态属于哪个微观态时对我们判断有所帮助的物理量，以上简单来说就是信息就是分类时有用的东西。它的作用有调整概率、排除干扰、确定某种情况等。 2.概率：某件事（宏观态）属于某个情况（微观态）的确定性。 3.熵：某人（模型）对于某件事（宏观态）属于某个情况（微观态）的不确定性。 决策树 由于信息熵和信息增益在决策树中是个较为重要的应用，所以我们在这里先介绍决策树。 决策树希望从给定训练数据集学得一个模型用以对新示例进行分类
【机器学习（三）】机器学习中：信息熵，信息增益，信息增益比，原理，案例，代码实现。
热门推荐
qq_39709813的博客
06-11 2万+
目录 引言 原理 信息熵 条件熵 信息增益 信息增益算法流程 信息增益比 案例 信息熵求解 信息增益求解 信息增益比求解 结果分析 案例的代码实现 引言 在机器学习和深度学习中，经常会用到信息熵（entropy）这个概念，可以理解为熵表示的是随机变量不确定度的衡量。例如概率0.5比概率0.3的不确定度要高。 原理 信息熵 设X是一个取值有限的离散随机变量，其概率分布为：，则随机变量X的熵定义为 通常log取2或者3，得到的熵的单位分别称作比特或纳特。从这就可以知道，熵依
[头歌]-信息熵与信息增益
weixin_45794390的博客
06-01 2430
[头歌]-信息熵与信息增益
机器学习笔记之信息熵、信息增益和决策树(ID3算法)
睿不可挡的专栏
01-21 2万+
机器学习笔记之信息熵、信息增益和决策树(ID3算法)
机器学习之信息增益（熵和条件熵）
Python开发工程师
09-07 5925
本文转载于：https://blog.youkuaiyun.com/chunyun0716/article/details/51289940 要了解信息增益，我们要先知道熵与条件熵的定义。 2.1 熵 熵是无序度的度量，在信息论和统计中，熵表示随机变量不确定性的度量。假设XX是一个取有限值的离散型随机变量，它的概率分布如下： P(X=xi)=pi,i=1,2,…,nP(X=xi)=pi,i=1,2,...
机器学习信息熵信息增益条件熵
最新发布
03-08
### 信息熵、信息增益和条件熵的概念 #### 信息熵 (Entropy) 信息熵用于衡量系统的不确定性程度，在机器学习领域特别是决策树构建过程中起着重要作用。对于一个离散随机变量 \(X\) ，其概率分布为 \(\{p_1, p_2,...,p_n\}\)，则该随机变量的信息熵定义如下： \[ H(X) = -\sum_{i=1}^{n}{p_i \log_b(p_i)} \] 其中，\(b\) 是对数的底数，通常取值为2或者自然常数e；当某个事件的概率为0时，默认认为对应的项等于0。 在实际应用中，比如分类问题里，如果某类别的样本占比很大，则说明这个类别很容易被预测到，此时系统整体混乱度较低，相应的信息熵也较小；反之亦然[^1]。 ```python import math from collections import Counter def calc_entropy(data_set): num_entries = len(data_set) label_counts = {} for feat_vec in data_set: current_label = feat_vec[-1] if current_label not in label_counts.keys(): label_counts[current_label] = 0 label_counts[current_label] += 1 entropy = 0.0 for key in label_counts: prob = float(label_counts[key]) / num_entries entropy -= prob * math.log(prob, 2) return entropy ``` #### 条件熵 (Conditional Entropy) 设有一个数据集 \(D\) 和特征 \(A\) 。经验条件熵是指给定条件下子数据集中目标属性的平均不确定性。具体来说就是先按照特征的不同取值划分成若干个子集合，再分别求这些子集合中的信息熵并加权求和得到最终的结果。 \[ H(Y|X)=\sum _{{x}}P(x)\cdot H(Y|x), \] 这里 \(H(Y|x)\) 表示已知输入 \(x\) 的情况下输出 \(Y\) 的剩余混淆度量，而 \(P(x)\) 则代表各个可能情况发生的频率比例。 ```python def split_data_set(data_set, axis, value): ret_data_set = [] for feat_vec in data_set: if feat_vec[axis] == value: reduced_feat_vec = feat_vec[:axis] reduced_feat_vec.extend(feat_vec[axis+1:]) ret_data_set.append(reduced_feat_vec) return ret_data_set def calc_conditional_entropy(data_set, i): feature_list = [example[i] for example in data_set] unique_vals = set(feature_list) new_entropy = 0.0 for value in unique_vals: sub_data_set = split_data_set(data_set, i, value) prob = len(sub_data_set)/float(len(data_set)) new_entropy += prob * calc_entropy(sub_data_set) return new_entropy ``` #### 信息增益 (Information Gain) 信息增益用来评估某一特定特征的重要性，它反映了通过引入此特征所能减少多少关于结果的知识上的模糊性。简单来讲就是在考虑了新加入的因素之后整个体系变得更加有序的程度。计算方式是从原始的数据集总熵减去基于所选特征分割后的各部分熵之和得出差值即为信息增益。 \[ IG(D,A)=H(D)-H(D|A). \] 这里的 \(IG(D,A)\) 就是对于数据集 \(D\) 而言由特征 \(A\) 所带来的信息增益大小[^2]。 ```python def calc_info_gain(data_set, base_entropy, i): conditional_ent = calc_conditional_entropy(data_set, i) gain = base_entropy - conditional_ent return gain ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值