Python【图解】信息熵

信息熵(entropy)的理解 引言: 最近在看数据挖掘的内容,看视频的时候,里面的老师讲到了一些信息熵的东西,突然让我对于之前信息熵的迷惑瞬间消散。写这个的目的只是抛砖引玉,辅助看到信息熵的朋友加深一点点…点.理解,水平实在有限,尽量保证正确 首先这儿有个统计图表,如下: 从图中这三列,我们分别可以得到如下信息: 1.第一列:总人群中男女比例都是0.5 2.第二列:在不吸烟的人群中女的为0.8,男的为0.2 3.第三列:在吸... 阅读详情

1、简介

  • 信息熵是随机事件不确定性的度量
  • 信息熵越大,不确定性越高

2、公式

H ( X ) = − ∑ i = 1 n p ( x i ) log ⁡ 2 p ( x i ) = ∑ i = 1 n p ( x i ) log ⁡ 2 1 p ( x i ) H(X) = - \sum_{i=1}^{n} {p(x_i) \log_2 p(x_i)} = \sum_{i=1}^{n} {p(x_i) \log_2\frac{1}{p(x_i)}} H(X)=−i=1∑n​p(xi​)log2​p(xi​)=i=1∑n​p(xi​)log2​p(xi​)1​

先看下 − x log ⁡ 2 x - x \log_2 x −xlog2​x 的函数图像:

import numpy as np, matplotlib.pyplot as mp
X = np.linspace(0.001, 1, 1001)
Y = - X * np.log2(X)
mp.plot(X, Y)


如图所示,概率P取值在0~1,概率为0或1时取最小值0( lim ⁡ x → 0 − x log ⁡ 2 x = 0 \lim_{x\rightarrow0} - x \log_2 x = 0 limx→0​−xlog2​x=0)

3、举个栗子

栗子1

黑箱中10个球,分红白2色,随机抽取1个:
H = P ( 红 ) log ⁡ 2 1 P ( 红 ) + P ( 白 ) log ⁡ 2 1 P ( 白 ) H=P(红) \log_2\frac{1}{P(红)} + P(白) \log_2\frac{1}{P(白)} H=P(红)log2​P(红)1​+P(白)log2​P(白)1​
若5红5白,信息熵为1.00,难以确定会抽到的哪个颜色;
若9红1白,信息熵为0.47,有较大几率抽到红球,不确定性较小;
若全为红球,则信息熵为0,必定抽到红球,无不确定性。

from math import log2
import matplotlib.pyplot as mp
for x in range(1, 10):
    p1 = x / 10
    p2 = 1 - p1
    X = [p1, p2]
    H = - sum([p * log2(p) for p in X])
    print('红球概率:%.2f、白球概率:%.2f、信息熵:%.2f' % (p1, p2, H))
    mp.bar(p1, H, color='r', width=0.018)

栗子2

import numpy as np, matplotlib.pyplot as mp
X = np.arange(1, 257)  # 物种数取值范围
H = []
for x in X:
    P = [1 / x for _ in range(x)]  # 物种数为x时,概率的集合
    H.append(- sum([p * np.log2(p) for p in P]))
mp.xlabel('species')
mp.ylabel('information entropy')
mp.plot(X, H)


如图,横坐标表示种类,纵坐标表示信息熵
种类是1时,信息熵为0;种类是256时,信息熵为8;种类越多,信息熵越大。

4、相关补充

联合熵

  • 二维随机变量X、Y的不确定性的度量
    H ( X , Y ) = − ∑ i = 1 n ∑ j = 1 n P ( x i , y j ) log ⁡ P ( x i , y j ) H(X,Y) = - \sum_{i=1}^{n} \sum_{j=1}^{n} {P(x_i,y_j) \log P(x_i,y_j)} H(X,Y)=−i=1∑n​j=1∑n​P(xi​,yj​)logP(xi​,yj​)

条件熵

  • 用于衡量:随机变量X发生的条件下,随机变量Y的不确定性
    H ( Y ∣ X ) = − ∑ x , y P ( x , y ) log ⁡ P ( y ∣ x ) H(Y|X) = - \sum_{x,y} {P(x,y) \log P(y|x)} H(Y∣X)=−x,y∑​P(x,y)logP(y∣x)

互信息

  • 随机变量X、Y之间相互依赖性的量度
    I ( X , Y ) = − ∑ x ∈ X ∑ y ∈ Y P ( x , y ) log ⁡ P ( x , y ) P ( x ) P ( x ) I(X,Y) = - \sum_{x \in X} \sum_{y \in Y} {P(x,y) \log \frac {P(x,y)}{P(x)P(x)}} I(X,Y)=−x∈X∑​y∈Y∑​P(x,y)logP(x)P(x)P(x,y)​

最大熵模型

白话解释:
满足一定约束条件下,选择熵最大的模型
e.g.
  • 对于随机变量 X X X,其可能的取值为 { A , B , C } \{A,B,C\} {A,B,C},没有任何约束的情况下,各个值等概率时模型的熵值最大:
    P ( A ) = P ( B ) = P ( C ) = 1 3 P(A)=P(B)=P(C)=\frac{1}{3} P(A)=P(B)=P(C)=31​
  • 当给定一个约束 P ( A ) = 1 2 P(A)=\frac{1}{2} P(A)=21​时,满足该约束条件下的最大熵模型则变成:
    P ( A ) = 1 2 ; P ( B ) = P ( C ) = 1 4 P(A)=\frac{1}{2};P(B)=P(C)=\frac{1}{4} P(A)=21​;P(B)=P(C)=41​
自然语言处理基础之信息熵,联合熵,条件熵,交叉熵,相对熵 本文主要介绍信息论基本相关知识,这些知识在机器学习中的相关算法的基础,是学习机器学习及深度学习的基础知识。本文具体介绍信息熵、交叉熵及相对熵,需要深入了解信息论知识,请参考《信息论基础》。 1)信息熵(Information Entropy)        信息熵来源于克劳德·爱尔伍德·香农的信息论,在介绍信息熵之前,我们先来了解信息量的概念。  ... 阅读详情

相关推荐

信息熵、条件熵、联合熵与互信息:5大核心概念关系图解与公式推导

本文深入解析信息论中的五大核心概念:信息熵、条件熵、联合熵与互信息,通过维恩图和公式推导展示它们的关系。信息熵量化不确定性,互信息衡量变量关联性,这些概念在机器学习、数据压缩等领域有广泛应用。文章还提供Python计算示例,帮助读者从理论到实践全面掌握信息论基础。

weixin_30751947的博客 367

Matplotlib画图----信息熵函数图像

最近在看GAN和VAE的过程中,发现信息熵的概念多次出现,就又复习了一下。为了更形象的了解信息熵,在网上找信息熵函数图像的过程中,发现只有二元的信息熵图像,出于好奇,画了就画了一下三元的。 E=−p1∗log2p1−(1−p1)∗log2(1−p1)E = -p_1 * log_2p_1 - (1 - p_1) * log_2(1 - p_1)E=−p1​∗log2​p1​−(1−p1​)∗log...

qq_26972735的博客 8611

【Python】 快速排序

在计算机科学的殿堂里,“排序”二字似乎拥有着与生俱来的朴素与直白。我们将一串杂乱无章的数字、一列姓名、或是一组文件,按照某种规则(比如,从小到大、按字母顺序)排列整齐。这个过程,我们称之为排序。然而,如果我们仅仅满足于这种表象的理解,我们将永远无法触及像“快速排序”这样伟大算法其思想的精髓。为了真正开启这段深度探索之旅,我们必须首先撕开“排序”这个词语的表层含义,深入其内部,去追问一个更根本的问题:当我们谈论“排序”时,我们究竟在改变什么?答案或许会出乎你的意料:我们在降低系统的“信息熵”。让我们进行一个简

宅男很神经 955

python计算图片的信源熵值(信息熵)

本次实验计算灰度图片的信源熵值,由于其像素有 256 个取值,假设这 256 个取值 之间彼此独立,将信源空间处理成无记忆稳定信源。

E5408的博客 4472

Decision Tree

Decision Tree概念:决策树(decision tree)官方版:决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射

stockholmrobber的博客 401

Python实现信息熵算法——附完整代码

在上述代码中,我们定义了一个名为entropy的函数,它接受一个数据集作为参数,并返回该数据集的信息熵。该函数先根据输入数据计算每个变量出现的频率,并根据此计算信息熵。其中,H(X)代表随机变量X的信息熵,p(x)代表X的概率分布。利用该公式,我们可以将信息熵的计算转换为计算各个变量出现的概率,并据此计算信息熵。综上所述,我们通过Python实现了信息熵算法,并提供了附有完整代码的文章内容。在以上示例中,我们将[1, 1, 2, 3, 3, 3]作为输入数据,输出则为对应的信息熵1.459。

BUG?不存在的! 4793

机器学习--决策树实验及源码(Python版)

【实验原理】 决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度,使用算法ID3,...

LiuSong的博客 5326

基于Hadoop的NBA篮球球员大数据分析与可视化系统大数据分析系统python的项目(源码+lw+部署文档+讲解等)

本系统以 Hadoop 为基础,致力于对 NBA 篮球球员的海量数据进行深入分析与可视化呈现。它能够收集来自多个数据源的丰富数据,包括球员比赛统计数据、身体素质数据、技术特点数据等。利用 Hadoop 的分布式存储和计算能力,对这些大规模数据进行高效处理。通过数据分析算法,挖掘球员的潜在价值和特点,如球员的得分能力趋势、篮板球效率变化、不同位置球员的技术差异等。同时,借助先进的可视化技术,将分析结果以直观的图表、图形等形式展示出来。教练和球队管理层可以通过可视化界面清晰地了解球员的综合表现和发展态势,从而制

QQ3359892174的博客 1315

图解 Python 函数

函数是 “ 一系列命令的集合”,我们可以通过调用函数来自动执行某一系列命令。虽然经常性地出现于文章中的print()是被录入在Python的标准库中的函数,但是,程序员亦...

优快云资讯 3235

手把手教你修改miniwiggler配置信息,解决UDE连接问题(附FT_PROG工具下载)

本文详细介绍了如何使用FT_PROG工具修改miniwiggler配置信息,解决UDE连接问题。通过分析FT2232芯片的EEPROM结构,提供从驱动安装到配置烧写的完整流程,帮助开发者实现无缝连接英飞凌TriBoard开发板。文章还包含常见错误解决方案和高级批量配置技巧。

weixin_30919429的博客 374

如何使用安路TD与Modelsim进行联合仿真?

1)安装安路FPGA开发软件;(本次实验使用版本:TD_5.6.3_Release)2)安装Modelsim仿真软件;(本次实验使用版本:Modelsim SE-64 10.1c)3)FPGA开发板;(本次实验使用型号:EG4X20BG256)4)LED点灯例程;

qq_17313923的博客 3225

机器学习-利用信息熵来学习如果分辨好西瓜

决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。 我们通常用Entropy(信息熵来度量划分的凌乱程度)。 Ent(D)越小,则信息熵的复杂程度越低,D的纯度(一...

u011213419的博客 4545

NAO V6 开发环境的配置(附所有文件)

NAO V6开发环境配置前言环境Robot SettingsChoregraphe 2.8.5.10python2.7+naoqi2.8+opencv4.1.0putty与FileZilla 前言 学校的机器人摸索了一段时间,之前摸爬滚打探索环境,之前没接触这类机器人可能会非常艰辛,希望能给需要的人一些帮助。Nao与pepper通用 环境 win10(x64)+naoqi2.8 1、Robot S...

wbhhello的博客 3221

【算法实战】双向对偶状态机与非线性负反馈系统:基于Python离散事件模拟、相空间平衡与信息熵演化

探讨复杂自适应系统与分布式架构中的双向对偶状态机(Dual State Machine)与非线性负反馈稳态机制。基于布尔代数对偶律、Lotka-Volterra相空间模型与香农信息熵构建数学模型,通过Python实现自适应双向动态平衡仿真引擎,剖析系统稳态与李雅普诺夫收敛判据。

weixin_53993699的博客 148

嵌入式系统开发笔记112:通过有人云测试MQTT

项目中使用到“有人”公司的WH-LTE-7S0模块,本文讲解通过有人云进行MQTT测试的方法。

snmplink的博客 999

目前最强的价格行为技术分析AI!大A也能用!还免费!

有球友推荐了一个历史最强的价格行为技术分析AI工具,使用下来确实很惊艳,解决了 很多AI工具黑盒过程,难以回溯的问题,他的决策过程可解释,提供决策树、诊断结果、原始响应、调试信息和未来走势预期。用户能够看到模型为什么选择“做多、做空或不下单”。会检查置信度、入场条件、盈亏比、结构失效和冷却期。最大的优点不是“预测一定准确”,而是把主观的价格行为分析整理成了可重复、可解释、可校验、可持续跟踪的工程化流程。本文记录本项目在 Windows 上的实际部署与启动方法。

木头大左的博客 85

决策树Python头歌

基于头歌,头歌真的是太多有趣的故事。

2301_80289624的博客 2135

S7-1200PLC与昆仑通态触摸屏以太网通信的具体方法和步骤(图文)

S7-1200PLC与昆仑通态触摸屏以太网通信的具体方法和步骤(图文)

Robot_PLC_HMI_Automation 1万+

决策树算法——机器学习(理论+图解+python代码)

前言 暑假打算吃透一本书叫《机器学习》,大家也亲切的叫它西瓜书,看完决策树这部分想做做总结,虽然几年前对决策树的知识就有点印象,但是我发现现在又有了很多新的收获。 一、基本流程 二、划分选择 三、剪枝处理 四、连续与缺失值 五、多变量决策树 六、房价数据集的决策树算法python实现   一、基本流程 决策树(decision tree)是一类常见的机器学习算法,它是基于树结构...

huacha__的博客 3万+

通用具身智能仿真平台桃源2.0,三行代码定义任务,数采效率最高提升20倍

木木-具身Xbot具身知识库2025年03月13日 17:40浙江在首个“城市级”大规模仿真平台GRUtopia1.0的基础上,升级后的GRUtopia2.0凭借通用模块化框架、场景资产自动化生成、高效数据采集系统三大革新,进一步向通用化、多样化、易用化迈进。仅通过单一平台、简单代码输入,即可实现仿真环境中机器人灵活训练,提升数据采集效率,为研究者提供了“一站式”具身智能开发解决方案。

具身机器人和通用AI 818

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

《Python机器学习基础教程》第二章监督学习2.10 深度解析:决策树基础——从原理到实战的全面指南

fill:#333;color:#333;color:#333;fill:none;2.10 决策树基础2.10.1 决策树的基本概念2.10.2 决策树的工作原理2.10.3 决策树的构建过程2.10.4 决策树的剪枝技术2.10.5 决策树的应用实例2.10.6 代码实现示例。

884

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

机器学习——决策树

机器学习经典模型之决策树

Moonee_ 1466

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

机器学习之构造决策树

决策树基础理论及简单实现。

qq_54129718的博客 586

用简单的数学公式理解决策树算法(python)

大家好,这是本居居第一次写博客。 希望以巩固自己的算法知识,以及用一种较为容易理解的方法阐述算法,让广大读者学习借鉴为目的,坚持写下去。 一、决策树算法定义: 百度的官方解释是这样的,决策树是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。 看不懂?难以理解?很迷惑?我也一样,我觉...

weixin_38940048的博客 4628

深度学习——决策树

一、什么是决策树? 决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于0的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用决策分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树 看图1的举例,用通俗的语言来说决策树,就是将样本不停的按照条件判断,知道能够准确的分类到某一类中。 图1 决策树可以解决回归和分...

qq_35470020的博客 2289

决策树(Decision Tree)_海洋动物分类

  决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。 海洋生物数据 1 不浮出水面是否可以生存 是否有脚蹼 属于鱼类 2 是 是 是 3 ...

qq_27697703的博客 2647
上一篇: jieba分词,识别【带空格的词】
下一篇: Python【__del__】极简示例
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值