信息增益最通俗解释

BigDataMLApplication BigDataMLApplication 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.9k累计阅读 1.9k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄11年
关注
原创 最新推荐文章于 2026-05-22 13:56:07 发布 1.9k 阅读 AI 写同款· GEO 优化 ›
决策树系列3：信息增益、增益率、基尼系数 (史上最详尽) 引言 上回说道，决策树最核心的部分是如何选择最优划分属性，今天我们看看经典的三种最优划分算法。 本次内容是决策树的核心，《大数据茶馆》力求做到通俗的前提下推导细致、循序渐进、全程举例，希望可以帮助大家彻底理解这三种方法的来龙去脉。 决策树回顾 上一篇文章的例子中，小明和小亮根据各个属性判断是否适合打球列了表格，并给出了一棵决策树。 如上篇文章所说，第一个节点选择场地进行分支划分一下子决策了... 阅读详情

(1)在决策树的每一个非叶子结点划分之前，先计算每一个属性所带来的信息增益，选择最大信息增益的属性来划分，
因为信息增益(原系统熵-该属性比例X该属性的熵)越大，区分样本的能力就越强，越具有代表性，很显然这是一种自顶向下的贪心策略。
(2) 原信息的混乱程度很严重，所以熵比较大；
而知道某个属性和原信息有关时，相当于知道了更多的信息，所以原信息的混乱程度减少（熵减少），信息增益会变大

收录于
机器学习

当前文章被收录于：

机器学习
6 篇文章 0 人学习
订阅专栏 查看详情
标签
#决策树 #信息增益
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
数据分析 | 信息增益与基尼系数的通俗解释（含实例） 信息增益是基于信息论的概念，用于度量在给定特征的情况下，数据集的不确定性减少程度。在决策树中，选择能够使得信息增益最大的特征作为划分节点。基尼系数是一种衡量数据集纯度（impurity）的指标，它表示从数据集中随机抽取两个样本，其类别标签不一致的概率。在决策树中，选择基尼系数最小的特征作为划分节点。 阅读详情

相关推荐

信息熵、信息增益、信息增益比

信息熵 “信息熵”是度量样本集合纯度最常用的一种指标。假定当前样本集合D中第k类样本所占的比例为pk（k=1,2,…,|y|），则D的信息熵定义为： Ent(D)的值越小，则D的纯度越高。 如果上面的解释不容易理解，那么下面再通俗地解释一下： 首先来看一下信息熵这个公式在数轴上的表示： 可以看到，在概率为0.5的时候，信息熵是最大的（为1）。 我们可以把信息熵理解为“不确定性”，当概率为0.5...

大屁孩的博客 5610

2021-04-22

决策树 1.基础知识： 决策树理解起来是很浅显易懂的一种分类算法，它从数据集中提取出一系列的规则。每一条达到叶节点的路径都是一条规则，用于决策所属类别。将特征作为树的非叶节点；分支是对应特征的每类属性值（已给每条数据都有属性值以及类别）；叶节点是所属类别。 如图： 熵的计算：那么怎么选择具有决定性的特征呢？为了找到决定性特征，划分出最好的结果，我们必须评估每个特征。 熵定义为信息的期望值，先看看信息的计算。如果 xi 类别被划分在含有x1，x2…xn 类的集合中（混合类）， xi 的信息定义为如下：

qq_53174708的博客 1714

通俗易懂的信息熵与信息增益（IE, Information Entropy; IG, Information Gain）

信息熵与信息增益（IE, Information Entropy; IG, Information Gain）信息增益是机器学习中特征选择的关键指标，而学习信息增益前，需要先了解信息熵和条件熵这两个重要概念。信息熵（信息量） 信息熵的意思就是一个变量i（就是这里的类别）可能的变化越多（只和值的种类多少以及发生概率有关，反而跟变量具体的取值没有任何关系），它携带的信息量就越大（因为是相加累计），这里...

tai21的博客 1万+

信息熵与信息增益

信息熵（information entropy）是度量样本集合纯度/不确定度最常用的指标之一。 但要注意，信息熵越小，表示不确定度越低，确定度越高，纯度越高。 Ent(D)=−∑k=1∣γ∣pklog2pkEnt(D)=-\sum_{k=1}^{|\gamma|}{p_klog_2p_k}Ent(D)=−∑k=1∣γ∣​pk​log2​pk​ 信息熵是对信息量的度量。越小概率的事情发生所产生的信息量越大。 信息量的公式表示如下： h(x)=−log2p(x)h(x)=-log_2p(x)h(x)=−log2

吟游诗人——吟唱生命的不朽 6711

信息增益是什么

我来详细解释什么是信息增益（Information Gain），用通俗的语言让你彻底明白它的概念和作用，尤其是在决策树构建中的重要性。如果我们再试其他特征（比如“温度”），算出增益更高（比如 0.5），就选那个特征分裂。类比：熵就像房间的杂乱程度，东西摆得整整齐齐（纯净）熵低，乱七八糟（混合）熵高。数学基础：信息增益基于熵（Entropy），熵是衡量数据混乱程度的指标。如果数据全是一个类别（比如全是“猫”），熵 = 0（完全确定，无混乱）。如果数据均匀分布（比如一半“猫”，一半“狗”），熵最大（最混乱）。

2301_82143894的博客 924

决策树 的增益率、信息增益、基尼指数

一件事发生的概率在0-1之间，取对数后小于零，不满足需求，而概率的倒数的对数是大于零的；同时根据之前说的为了使概率越大，信息量越小，取了倒数才能体现这种关联，也就是对数前加负号。④为什么log底数为2？理论上熵中的对数函数可以采用任何底数，通常遵循信息论的普遍传统，使用2作为对数的底，此时单位为bit。表示了一个二进制选择（0或1）所包含的信息量。常见的还有：以e为底，即自然对数，此时的单位为nat。使用较少的是以3为底，此时单位为Tet；以10为底，单位为哈特利(Hartley)。

Sodas的博客 1745

机器学习——信息熵与信息增益

信息熵越小，说明数据集的纯度越高。信息熵是衡量数据集纯度的指标之一，它是对数据集中所有类别出现概率进行加权平均所得到的一个值。代表的是在一个条件下，信息复杂度（不确定性）减少的程度，也即纯度提高的程度。信息增益越大，表示信息的不确定度降低的越多，即信息的纯度越高。信息熵越小越好，信息增益越大越好。问：信息熵越大说明其纯度越高。

qq_53142796的博客 2201

phpstudy自定义安装mysql8.3并启动

下载压缩包文件然后按下面的图片一步一步操作选择版本，选择第一个压缩包文件，下载下载完成后，解压到phpstudy环境目录下

互联网碎碎念 2802

路由器的dBi是什么意思？天线的增益越大越好吗？

在无线路由器参数中，常常可以看到天线增益一项，数值单位为dBi，常见的主要有3dBi、5dBi或7dBi之类的标注参数。而很多网友不知道dBi是什么意思，今天铅锤哥就来说说无线路由器dBi是什么意思，说说这个数值的意义，以及大家常问的dBi是不是越大越好。 dBi是什么意思？ 在无线路由器中，天线增益是一项比较重要的参数，因为它关乎路由器传输距离与穿墙能力，而dBi则为无线天线的增益大小单位。 简单来说，在无线路由器中，dBi是用于标注路由器天线增益大小的单位，术语路由器中专业术语之一。 无线路由器

2万+

红外弱小目标检测：IPI算法解读及MATLAB复现

参考文献：[1]C. Gaoet al., “Infrared Patch-Image Model for Small Target Detection in a Single Image,” vol. 22, no. 12, pp. 4996–5009, 2013. 本文整理????论文笔记，并附MATLAB实现代码。 一、阅读笔记 1. 摘要 IPI算法是单帧检测算法； 利用背景的非局部子相关性（non-local self-correlation ofbackground)，将目标检测转..

小草莓的魔法笔记 1万+

SCL3400-D01双轴高精度倾角计

简介 两轴高精度加速度计，提供两个模式。 ±30° with 10 Hz LPF ±90° with 40 Hz LPF Resolution up to 32768 LSB/g Ultra-low 0.0009°/√Hz noise density 这款传感器是替换之前村田的停产的模拟量系列的芯片，正在测试中，具体效果大伙可以评测。 一、引脚连接图 引脚图兼容SCL3300 二、SPI接口 1.SCL3300和SCL3400略有区别如下图 左边为SCL3...

专注惯导领域 3808

通俗理解决策树算法中的信息增益（最朴实的大白话,保准能看懂）

信息增益 文章目录信息增益概念例子结论 在决策树算法的学习过程中，信息增益是特征选择的一个重要指标，它定义为一个特征能够为分类系统带来多少信息，带来的信息越多，说明该特征越重要，相应的信息增益也就越大。 概念 信息熵是代表随机变量的复杂度（不确定度），条件熵代表在某一个条件下，随机变量的复杂度（不确定度） 而我们的信息增益恰好是：信息熵 - 条件熵。 换句话说，信息增益代表了在一个条件下，信息复杂度（不确定性）减少的程度。 那么我们现在也很好理解了，在决策树算法中，我们的关键就是每次选择一个特征，特征有多个

忘川的博客 8521

Cocos2d-x手游逆向实战：Frida高阶Hook与动态解密技术

Cocos2d-x作为主流跨平台游戏引擎，其混合架构（C++核心+JNI桥接+Lua/JS脚本）和强加固策略（符号剥离、anti-frida、so加壳）使传统逆向方法失效。本文围绕‘无符号定位’‘C++函数硬编码地址识别’‘Lua层AST级劫持’‘OpenGL内存回溯解密’四大关键技术展开，深入解析如何在真实上线项目中稳定hook被strip的libcocos2d.so关键函数、绕过反调试心跳检测、从glTexImage2D参数逆向追踪明文资源，并结合熵值扫描实现零先验知识的内存明文发现。面向已掌握Frid

weixin_30345577的博客 675

信息熵、信息增益与信息增益率

信息熵、信息增益与信息增益率信息熵、信息增益与信息增益率信息熵(Information Entropy)信息增益(Information Gain)信息增益率(Information Gain Ratio) 信息熵、信息增益与信息增益率 信息熵(Information Entropy) 信息熵是用来评估样本集合的纯度的一个参数，就是说，给出一个样本集合，这个样本集合中的样本可能属于好多不同的类别，...

酱油哥的博客 9377

Fofa API高阶玩法：用Python批量获取漏洞资产（含OA系统扫描实战）

本文详细介绍了如何利用Python结合Fofa API实现自动化漏洞资产收集的高阶实战技巧。通过构建健壮的客户端、设计精准查询语法、实现多线程批量采集，并以OA系统漏洞扫描为例，演示了从资产发现、过滤验证到报告生成的全流程，旨在提升安全运维与应急响应的效率。

weixin_28607671的博客 498

opencv实践项目-图片拼接之缝合线算法

opencv 图片缝合线算法

wyw0000的博客 2624

如何通俗地理解信息增益？

通俗来说，一句话、一段视频、一本书统统都可以称为信息。有的信息很干，我们就说它的“信息增益”大，而有的很水，那么就是“信息增益”小。 1 选择朋友 举个例子吧，比如因为工作原因，我新结识了一位小伙伴，现在想判断他是否值得交往，也就是想做一个“选择朋友”的决策。我择友的标准是“好人”，但是好坏不会写在人的脑门上，只能通过了解更多的信息来判断。信息知道的越多自然判断越准确。 当然，有的信息“信息增益”低，对“选择朋友”这个决策帮助小。比如抽烟、喝酒这个信息对“选择朋友”帮助就不大，好人、坏人都抽烟喝酒

马同学 2045

电机瞬态分析基础（2）：理想电机的基本假设和正方向规定

电机瞬态分析基础之理想电机假设条件和正方向规定

weixin_45670943的博客 1145

信息增益 IG

今天在看特征选择CHI的时候，发现里面有个知识点叫做信息增益；感觉似懂非懂，特别模糊，所以找了好多dalao的文章，通俗的讲解下什么是信息增益以及相关知识。 什么是熵？ 在接下里的链接里，会通俗的讲解https://ask.julyedu.com/question/6897 什么是信息熵？ 首先看下公式： H(x) = -∑p(xi)log(2,p(xi)) (i=1,2,..n)

AquaVII的博客 5123

【踩坑记录】pandas.to_sql 报 “‘Engine‘ object has no attribute ‘cursor‘”，最后竟然是环境问题

摘要 本文记录了使用pandas+SQLAlchemy+pymysql将数据写入MySQL时遇到的"Engine对象无cursor属性"错误及其解决方案。问题表现为to_sql方法将SQLAlchemy引擎误认为普通DBAPI连接，导致调用cursor()方法失败。经排查发现，这是由于pandas/SQLAlchemy环境损坏所致，而非代码问题。最终通过完全卸载并重新安装pandas(≥2.1)、SQLAlchemy(≥2.0)和pymysql解决了该问题。文章还建议将遗留的read_s

每日出拳老爷子的博客 336

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

决策树①——信息熵&信息增益&基尼系数

本文主要是通过大白话，解释何为 信息，信息熵，信息增益，信息增益率，基尼系数 一、信息 能消除不确定性的内容才能叫信息，而告诉你一个想都不用想的事实，那不叫信息。 比如数据分析师的工作经常是要用数据中发现信息，有一天上班你告诉老大从数据中发现我们的用户性别有男有女。。。（这不废话吗？）这不叫信息，但是如果你告诉老大女性用户的登录频次、加购率，浏览商品数量远高于男性，且年龄段在25岁~30岁的女性用...

机器学习初学者必看，关注我，一起了解机器学习 2918

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

【结合实例】信息增益的计算

参考文章：https://www.cnblogs.com/qcloud1001/p/6735352.html 信息增益原理介绍 介绍信息增益之前，首先需要介绍一下熵的概念，这是一个物理学概念，表示“一个系统的混乱程度”。系统的不确定性越高，熵就越大。假设集合中的变量X={x1,x2…xn}，它对应在集合的概率分别是P={p1,p2…pn}。那么这个集合的熵表示为：

guomutian911的专栏 6万+

温度PID控制PLC程序

温度PID稳定控制程序，适用于欧姆龙PLC，对其他PLC也具有很大参考价值

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

信息增益到底怎么理解呢？

在决策树算法的学习过程中，信息增益是特征选择的一个重要指标，它定义为一个特征能够为分类系统带来多少信息，带来的信息越多，说明该特征越重要，相应的信息增益也就越大。当我们知道男朋友的身高信息后，不确定度减少了0.198.也就是说，身高这个特征对于我们广大女生同学来说，决定嫁不嫁给自己的男朋友是很重要的。嫁的个数为6个，占1/2，那么信息熵为-1/2log1/2-1/2log1/2 = -log1/2=0.301。矮包括{1,2,3,5,6,11,12}，嫁的个数为1个，不嫁的个数为6个。

weixin_44976611的博客 2160
上一篇： 深入理解token
下一篇： spark-sql on yarn 、spark-shell on yarn 详解
点赞 1
评论 0
书签 书签 0
BigDataMLApplication
BigDataMLApplication
博客等级 码龄11年 7363粉丝 565原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMLApplication

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值