机器学习信息熵与信息增益

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 325平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄19年

关注

转载最新推荐文章于 2026-09-05 15:00:58 发布 325 阅读 AI 写同款· GEO 优化 ›

决策树，信息熵，信息增益计算----机器学习 决策树（decision tree）决策树简单介绍信息量信息熵信息增益决策树简单介绍决策树是一种基于树状结构来做决策的。是一种常见的机器学习方法。主要做分类，也可以做回归。一棵决策树含有一个根结点（样本全集），若干个内部结点和若干个叶结点（最终结论）。简单的一个例子。比如我们相亲的时候，老母亲甩出来一沓照片来让你做选择。这时候我们会问一些问题来做一下筛选，比如对方的年龄，相貌，工作收入，家庭住址等等等，然后最终确定选择两个或三个人去见。这一系列问题和层层的筛选判断就是在做决策，这些问题为“子决策”。阅读详情

https://www.jianshu.com/p/69dbb042a0e3

收录于

深度学习

当前文章被收录于：

深度学习

40 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

原文链接：https://www.jianshu.com/p/69dbb042a0e3>

【机器学习（三）】机器学习中：信息熵，信息增益，信息增益比，原理，案例，代码实现。目录引言原理 信息熵 条件熵信息增益信息增益算法流程信息增益比案例 信息熵求解信息增益求解信息增益比求解结果分析案例的代码实现引言在机器学习和深度学习中，经常会用到信息熵（entropy）这个概念，可以理解为熵表示的是随机变量不确定度的衡量。例如概率0.5比概率0.3的不确定度要高。原理 信息熵 设X是一个取值有限的离散随机变量，其概率分布为：，则随机变量X的熵定义为通常log取2或者3，得到的熵的单位分别称作比特或纳特。从这就可以知道，熵依阅读详情

相关推荐

机器学习笔记之信息熵、信息增益和决策树(ID3算法)

睿不可挡的专栏 2万+

机器学习---熵，信息增益，信息增益率

熵熵在信息论中被用来度量信息量，熵越大，所含的有用信息越多，其不确定性也就越大；熵越小，有用信息越少，确定性也就越大。决策树中，用熵来表示样本集的不纯度，样本集中样本种类越小，确定性越高，熵值越小；样本种类越多，越不确定，熵值越大。熵例子设S是数量为n的样本集，其分类属性有n个不同的取值，用来定义m个不同的分类Ci(i=1,2,⋯,m)，则其熵的公式是：如果有一个大小为10的布尔值样本集Sb，其中有6个真值，4个假值，那么该布尔型样本分类的熵是：信息增益计算得到熵作为衡量样本集合不纯度的指

weixin_43854256的博客 2817

【机器学习】信息量，信息熵，交叉熵，KL散度和互信息（信息增益）

首先先强烈推荐一篇外文博客Visual Information Theory这个博客的博主colah是个著名的计算机知识科普达人，之前非常著名的那篇LSTM讲解的文章也是他写的。这篇文章详细讲解了信息论中许多基本概念的来龙去脉，而且非常的直观用了大量的图片，和形象化的解释。信息量信息量用一个信息所需要的编码长度来定义,而一个信息的编码长度跟其出现的概率呈负相关,因为一个短编码的代价也是巨大的,因为

haolexiao的专栏 2万+

机器学习——信息熵与信息增益

信息熵越小，说明数据集的纯度越高。信息熵是衡量数据集纯度的指标之一，它是对数据集中所有类别出现概率进行加权平均所得到的一个值。代表的是在一个条件下，信息复杂度（不确定性）减少的程度，也即纯度提高的程度。信息增益越大，表示信息的不确定度降低的越多，即信息的纯度越高。信息熵越小越好，信息增益越大越好。问：信息熵越大说明其纯度越高。

qq_53142796的博客 2201

《机器学习实战》读书笔记3：信息熵和信息增益

点进来的读者肯定都看过《机器学习实战》第三章-决策树，所以就不罗嗦啦。上一篇文章实在是太罗嗦了。：）信息熵(或香浓熵): Entropy首先举个例子：假如美国参众两院要弹劾川普，通过提前走访调查议员的想法，得出结果有80%的可能性川普被弹劾，20%的可能性川普不被弹劾。那么我们知道了川普很可能会被弹劾。好了，我们待会儿再来说川普。现在给出信息的计算公式： info(xi)=−log2p(xi)i

请叫我AXin 3488

【机器学习】信息、信息熵、信息增益、增益率及基尼系数的概念总结

信息、信息熵、信息增益、增益率及基尼系数的概念总结信息信息是用来消除随机不确定性的东西。对于机器学习中的决策树而言，如果待分类的事物集合可以划分为多个类别当中，则第k类的信息可以定义如下： 信息熵 信息熵是用来度量不确定性，当熵越大，k的不确定性越大，反之越小假定当前样本集合D中第k类样本所占的比例为，则D的信息熵定义为：信息增益信息增益在决策树算法中是用来选择特征...

小哲的博客 4405

机器学习----熵，信息增益与决策树（Decision Tree）

决策树

skyllerone的博客 1327

自动驾驶小车DIY：树莓派+激光雷达实现DWA路径规划（从仿真到实车）

本文详细介绍了如何基于树莓派与激光雷达，从零搭建一套完整的自动驾驶小车系统，并实现DWA局部路径规划算法。内容涵盖硬件选型、ROS环境部署、DWA算法原理与仿真，以及关键的实车调试与性能优化技巧，为创客和竞赛爱好者提供了一套低成本、高可行性的自主导航解决方案。

kiwi8的博客 530

信息熵与信息增益

前言熵在机器学习中用的非常普遍，但这个又难以理解，经常忘记，写一篇博客记录一下，也方便其他人学习了解。什么是熵一开始接触熵是大二的信息论，非常难的一门课，当时学的时候不知道这个东西有什么用，完全就不太想学，因为不知道干嘛，也不知道学了有什么用，但是现在很后悔，定义：熵也叫信息熵，可以表征随机变量分布的混乱程度，分布越混乱，则熵越大，简易的解释就是：在一个随机事件中，某个事件发生的不确定度越大...

笔记小屋 1万+

微信小程序如何转云开发

小程序转云开发

zhangxiaobai___的博客 3914

ADS2023实战：2.4GHz超外差接收机从设计到链路预算全流程解析

本文以ADS 2023软件为平台，详细解析了2.4GHz超外差接收机从核心指标定义、架构原理到完整链路搭建与仿真的全流程。通过实战演练，重点阐述了如何利用ADS进行谐波平衡仿真和链路预算分析，以量化评估系统增益、噪声系数等关键性能，为射频工程师提供了一套从理论到仿真的系统级设计方法。

herb5的博客 817

【机器学习】揭秘机器学习的“三剑客”：信息熵、条件熵与信息增益

机器学习中的“三剑客”——信息熵、条件熵与信息增益，是理解数据特征与决策过程的关键工具。信息熵衡量数据的不确定性，条件熵则描述了在给定条件下数据的不确定性变化。而信息增益则通过比较两者，揭示某一特征对减少不确定性的贡献，帮助机器学习算法如决策树进行特征选择，优化分类与回归效果。这三者共同构成了机器学习领域数据分析和决策优化的重要基石。

制定明确可量化的目标，坚持默默的做事。 2万+

Revit Dynamo实战：用Excel数据批量生成桥梁模型（附自适应族技巧）

本文详细介绍了如何利用Revit Dynamo结合Excel数据实现桥梁参数化建模，重点讲解了数据驱动建模、自适应族优化及大型项目性能管理三大核心技巧。通过结构化Excel数据、高级自适应族创建和分块处理策略，显著提升桥梁建模效率与设计变更响应能力。

weixin_42520025的博客 387

机器学习-第2关：信息熵与信息增益

importnumpyasnp defcalcInfoGain(feature,label,index): ''' 计算信息增益 :paramfeature:测试用例中字典里的feature，类型为ndarray :paramlabel:测试用例中字典里的label，类型为ndarray :paramindex:测试用例中字典里的index，即feature部分特征列的索引。该索引指的是feature中第几个特征，如i...

qq_55882332的博客 4010

ATAC-seq差异分析实战：从原始数据到GO富集（R/Bioconductor全流程）

本文提供了ATAC-seq差异分析的完整R/Bioconductor实战流程，涵盖从原始数据准备、一致峰集构建、计数矩阵生成，到使用DESeq2进行差异可及性分析，以及差异峰的基因组注释与GO富集分析。文章详细讲解了关键步骤、参数设置和常见问题，旨在帮助研究者获得可靠且可解释的生物学结果。

weixin_29246195的博客 228

什么是华为OD？怎么才能通过华为OD机试？华为OD机试怎么刷题？（2024最新华为OD机试E卷更新中）

华为OD是Outsourcing Dispacth模式，是华为和外企德科联合招聘的简称。目前华为大多数是OD招聘。OD模式也是华为提出的一种新的用工形式，每年都会从OD项目挑优秀员工转为正编。所有OD和正式员工一样对待，没有差别，部门平时开会、评审等活动都是一起参加的，是同薪同酬，都是由华为的HR直接定的薪资，看的是我们技术能力。华为是大企业，能到华为上班也是有能力的，每个部门都有好多职位，是金子，在哪都会发光。

KJ.JK 11万+

机器学习：决策树之信息熵、信息增益、信息增益率、基尼指数分析

信息熵 信息理论从信息的完整性描述：当系统的有序状态一致时，数据越集中的地方熵值越小，数据越分散的地方熵值越大。从信息的有序性描述：当数据量一致时，系统越有序，熵值越低；系统越混乱或者分散，熵值越高。 “信息熵” (information entropy)是度量样本集合纯度最常用的一种指标。 信息熵理解 信息熵是一个变量包含信息多少的度量方式 信息熵的值越大，则认为该变量包含的信息量就大 信息熵越大，表示包含的信息种类就越多，信息量就越大，信息越混乱分散，纯度就越低 信息熵只和包含的信息种类

m0_58475958的博客 1万+

神经影像和人类基因组关联分析的实践过程

现代全脑转录图谱为研究脑组织的分子相关性提供了前所未有的机会，可以使用无创神经成像进行量化。然而，将神经影像学数据与转录组测量相结合并不是直截了当的，需要仔细考虑才能做出有效的推断。在本文中，我们回顾了最近的研究工作，探讨了不同的方法选择如何影响成像转录组学分析的三个主要阶段，包括1)转录图谱数据的处理；2)将转录测量与独立衍生的神经影像学表型相关联；3)通过基因富集分析评估鉴定的关联的功能意义。我们的目标是为这个快速发展的领域促进标准化和可复制方法的发展。

从事脑科学核磁共振方法学研究，在Nature communications等权威期刊发表研究论文，熟练掌握磁共振处理方法和统计学方法，欢迎大家和我交流。 2201

机器学习--信息 信息熵 信息增益

信息：信息这个概念的理解更应该把他认为是一用名称，就比如‘鸡‘(加引号意思是说这个是名称)是用来修饰鸡(没加引号是说存在的动物即鸡)，‘狗’是用来修饰狗的，但是假如在鸡还未被命名为'鸡'的时候，鸡被命名为‘狗’，狗未被命名为‘狗’的时候，狗被命名为'鸡'，那么现在我们看到狗就会称其为‘鸡’，见到鸡的话会称其为‘鸡’，同理，信息应该是对一个抽象事物的命名，无论用不用‘信息’来命名这种抽象事物...

weixin_34152820的博客 405

【社招算法经验贴】算法社招记录

总的来说，也是收获了七七八八的offer，给的涨幅40~100%，职级有的可以对标到 p7（但阿里p7是真难a，a不动）。面了一圈下来，感觉大模型也在收缩hc。尤其是多模态相关hc。凭着上学期间做过相关视觉的work和paper，社招虽然能进面试，但是hc少得可怜，多模态已死慎入。还有大模型应用算法给的涨幅，跟搜广推的涨幅差别不大。真正能几百万往上的是基座pretrain/后训练/infra，但是全靠social和conn，hc极少。

Danger的博客 977

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0，兼容Win7/Win10/WinXP，解压就可用。

AI机器学习-信息熵、条件熵、信息增益

信息熵信息熵是系统有序化程度的一个度量。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。1948 年，香农提出了“信息熵”(shāng) 的概...

挨踢学霸 606

WINCC7.3破解文件

WINCC7.3硬件够破解文件，有需要的下载！WINCC7.3硬件够破解文件，有需要的下载！

【机器学习入门】(4) 决策树算法理论：算法原理、信息熵、信息增益、预剪枝、后剪枝、算法选择

python机器学习中的决策树算法的基本原理。内容主要有： (1) 概念理解；(2) 信息熵；(3) 信息增益；(4) 算法选择；(5) 预剪枝和后剪枝。 python决策树算法案例实战我在下一篇文章中介绍。那我们开始吧。 1. 决策树概念通过不断的划分条件来进行分类，决策树最关键的是找出那些对结果影响最大的条件，放到前面。

博观而约取，厚积而薄发 3133

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面，电脑运行连游戏界面都一样大小，很怀旧，很真实，（英文版）强烈推荐，很小的文件，很难才找到的。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

《机器学习》第4章决策树之详解信息熵，信息增益

参考：信息熵的公式推导https://www.zhihu.com/question/22178202/answer/161732605 一、信息熵公式：样本数据二、信息熵的计算约等于0.970954 信息熵的代码实现 import math def informationEntropy(dataset): nums = len(dataset) #样本的数...

qd1006739486的博客 871

机器学习基础（三）——信息、信息熵与信息增益

信息：information，信息熵：information entropy，信息增益：information gain（IG）划分数据集的大原则是：将无序的数据变得更加有序。组织杂乱无章数据的一种方法就是使用信息论度量信息，信息论是量化处理信息的分支科学。在划分数据集之前之后信息发生的变化称为信息增益，知道如何计算信息增益，我们就可以计算每一个特征值划分数据集获得的信息增益，获得信息增益最高的特

4946

头歌 机器学习 决策树 信息熵与信息增益

根据提示，在右侧编辑器补充代码，完成。表示使用第一个特征来计算信息增益。函数实现计算信息增益。：测试用例中字典里的。：测试用例中字典里的。：测试用例中字典里的。

Kuugo_的博客 2517

《机器学习》第四章决策树计算信息熵、信息增益等编程

在周志华《机器学习》书中，第四章讲了关于决策树的相关知识，其中包括信息熵、信息增益的公式。并且给出了书中的数据的信息熵，信息增益的值。由于有些好奇这些数据是否足够正确，并且也希望能够理解信息熵、信息增益的计算过程以及方式，所以编写了如下的程序。另一个原因也是手动计算，过于麻烦。要注意，这里的数据保存为.csv的格式。这里，我给出我的编码规则。