【机器学习】4 ——熵

最新推荐文章于 2025-05-05 00:40:24 发布
原创 最新推荐文章于 2025-05-05 00:40:24 发布 · 1.6k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

机器学习4 ——熵

文章目录

前言

熵衡量随机变量不确定性，由克劳德·香农（Claude Shannon）在1948年提出，称为香农熵。反映了一个系统中信息的混乱程度或信息量。

其定义为：
H ( P ) = − ∑ x P ( x ) l o g P ( x ) H(P)=-\sum_{x}^{} P(x)logP(x) H(P)=−

最低0.47元/天 解锁文章

200万优质内容无限畅学
熵(Entropy):机器学习
伯约让你失望了
06-06 7004
熵(Entropy):机器学习 熵 定义 从信息的角度来说，熵(Entropy)是一种从定量的角度来衡量信息(Information) 多少的指标。简单的说，就是信息所包含的不确定性的大小度量。一个信息所包含的事件的不确定性越大，它所含的信息就越多。我的理解是在这个信息还未获得时，这个信息所描述的事件的不确定性的大小。 举两个例子，当你获得一条可靠的信息：明天太阳从东方升起。这...
机器学习中的熵
qq_32577043的博客
06-04 268
信息量 香农认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量大小就是看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “吐鲁番下中雨了”，这条信息比较有价值。 太阳明天从东方升起的概率是 100%，吐鲁番下中雨的概率是2%。事件发生的概率越大，说明事件发生的确定性越大。吐鲁番下雨这个事件，直接消除98%不下雨...
机器学习—熵
caojinpei123的博客
08-21 518
1.熵 熵：度量了事物的不确定性，越不确定的事物，它的熵就越大。                                                 其中n代表X的n种不同的离散取值。而pipi代表了X取值为i的概率，log为以2或者e为底的对数。举个例子，比如X有2个可能的取值，而这两个取值各为1/2时X的熵最大， 2.联合件熵                       ...
熵测度详解
最新发布
DuHz的博客
05-05 906
熵是信息论、热力学和统计力学中的核心概念，用于衡量系统的无序程度或不确定性。
机器学习之熵
归去来兮的博客
08-05 1037
熵这个词本来是物理学中表示分子混乱程度的物理量，香农(Claude Elwood Shannon)借用过来描述信源的平均不确定性。信息熵的内容在信息论相关教材中有详细的描述，这里仅对机器学习中用到的部分相关概念做个笔记。 1.信息 信息有别于消息，是对事物运动状态或存在方式的不确定性的描述，并且这种不确定性是有大小的。 比如我们在手机上看到这样两则新闻： 科学家通过新技术复活了一只原核细...
详解机器学习中的熵_机器学习中的熵
weixin_26750481的博客
08-27 1143
详解机器学习中的熵Entropy is a familiar concept in physics, where it is used to measure the amount of “disorder” in a system. In 1948, mathematician Claude Shannon expanded this concept to information theory i...
机器学习实战——决策树.zip
04-25
在“机器学习实战——决策树”这个主题中，我们将深入探讨决策树的基本概念、工作原理、优缺点以及如何在实际问题中应用。 决策树的核心思想是通过一系列的“如果-那么”规则来做出预测，这些规则可以直观地表示为...
机器学习决策树算法中特征选项的算法实现——信息熵
12-22
机器学习决策树算法中特征选项的算法实现——信息熵 首先我们将信息熵的定义进行阐述: 熵经验熵 我们这里以网上数据贷款申请为例:数据来自（https://blog.youkuaiyun.com/c406495762/article/details/75663451） 在...
机器学习算法——信息熵
LuciferCode的博客
04-12 7160
信息熵(Entropy) 信息是个很抽象的概念。我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本书中到底有多少信息量。直到 1948 年，香农（C. E. Shannon）提出了“信息熵”(shāng) 的概念，才解决了对信息的量化度量问题。熵的概念发展成为信息论、数据压缩等学科的基础，在很多科学研究的领域尤其是计算机科学中有着广泛的应用。 实际上，一条信息的信息量
白话机器学习算法（十七）熵，条件熵
简洁之美 的专栏
04-12 2521
因为在数据压缩方面，对于小概率事件就要用长的编码，大概率事件用短编码，这样最后平均每个事件的编码就比较小！而对于等概率事件，这种策略就没法使用，就没法实现数据的压缩；熵说的就是这种下界； 反过来，当我们说一个事件熵很大，就意味着 1：这个事件的取值范围很多 2：（或者）这个事件中每个取值的概率比较均匀 以上两者都代表着这个事件的不确定性很大，所以我们又说熵是一种不确定性的度量 那么什么是条件熵呢，为什么H（A|B）小于等于H(A)呢？
机器学习中各种熵总结
08-06
机器学习中各种熵的总结笔记，包括对应公式及详细解释说明。
机器学习中的熵（Entropy）是什么？
libertea的专栏
10-10 2126
熵作为信息论中的核心概念，衡量了系统的不确定性。通过从自信息量推导出的熵公式，我们能够量化一个系统中信息的平均量。在机器学习中，熵广泛用于决策树构造和其他分类任务中，以帮助衡量数据集的纯度或不确定性。
熵的理解(机器学习)
greatdajiezi的博客
05-14 1075
一、熵的作用 我所理解的熵，其实就是为了对数据的无序状态进行度量。 二、引出熵的前提：自信息 自信息通俗理解，其实是指该信息对于人们的震撼程度。自信息也称为信息量，可以这样理解，在生活中如果一件事经常发生(如“cxk说他会打篮球，唱，rap”)，人们往往不会那么关注了，即给人感觉，这样的事件提供的信息量很少（很无聊）；但如果一件很少发生的事突然发生(如地球不...
理解机器学习中的熵
guofei_fly的博客
09-01 745
1. 信息量和信息熵 熵是表征系统混乱度/不确定度的物理量，在热力学、信息学中都有其各自的含义，而在机器学习更多沿用了信息熵的概念，即解释随机变量分布所需要的信息量（下文给出数学定义），或者从信息编码的角度来说，用某种方式对随机变量分布进行编码所需要的编码信息长度。 假设一个离散型随机变量xxx，其分布为p(x)p(x)p(x)，如何计算其熵呢，我们先引入信息量的概念：事件发生所蕴含的信息。比如对...
关于机器学习中比较深奥的熵的理解
Johnny_nass_hu的专栏
05-21 1899
机器学习里有介绍了3种分类器： Naive Bayes Support Vector Machine Decision Tree 其中Decision Tree 里面引入了Entropy的概念， 为什么要引入这个呢？因为电脑不是人脑，它在做这个决策树的时候最大的问题就是不知道用哪种分类条件来对样本进行分类。 电脑必须知道哪一种分类条件最合适，怎样通过计算知道哪种最合适呢，答案就是这个熵
机器学习笔记-信息熵
迷路剑客个人博客
10-16 648
0x01 摘要 本文简单介绍 信息熵、条件熵、信息增益、交叉熵等熵相关的基础概念。 0x02 熵 2.1 信息量 信息的大小跟随机事件的概率有关：越小概率的事情发生了产生的信息量越大（目睹飞碟）；越大概率的事情发生了产生的信息量越小（太阳东升西落）。因此一个具体事件的信息量应该是随着其发生概率而递减的，且不能为负。 2.2 信息熵 而信息熵则是在结果出来之前对可能产生的信息量的期望——信息熵是考虑...
机器学习14 熵
kkae8643150的专栏
05-19 526
正文 用熵来评估一个系统的复杂程度。对于分类问题，分类越多，信息熵越大，分类越少，信息熵越小。 信息熵理解与推导 参考 https://zhuanlan.zhihu.com/p/26486223 1）信息量推理过程 核心思想：信息的大小跟随机事件的概率有关。越小概率的事情发生了产生的信息量越大，如湖南产生的地震了；越大概率的事情发生了产生的信息量越小，如太阳从东边升起（肯定发生嘛概率为1，信息量0）。 小概率事件发生时，信息量很大。 如果我们有俩个不相关的事件x和y，那么我们观察到的俩个事件同时发生时获得
熵 机器学习_理解熵：机器学习的金标准
weixin_26632369的博客
07-21 492
熵 机器学习TL;DR: Entropy is a measure of chaos in a system. Because it is much more dynamic than other more rigid metrics like accuracy or even mean squared error, using flavors of entropy to optimize alg...
机器学习中的信息熵决策树实现与笔记
综上所述，从“信息熵决策树.zip”的标题和描述中，我们可以了解到一个基础机器学习算法——决策树模型的构建，以及信息熵这一评价标准在决策树算法中的应用。同时，标签中出现的Python编程语言是实现机器学习算法的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qq_43507078

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值