如何通俗解释交叉熵与相对熵

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 118平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄19年

关注

转载最新推荐文章于 2026-02-17 15:15:42 发布 118 阅读 AI 写同款· GEO 优化 ›

熵、相对熵、交叉熵、变分推断 1. 公式 交叉熵 = 熵 + 相对熵 当我们用一个计算公式（交叉熵）去估计熵时，得到的结果往往偏大，偏离熵真值称为 相对熵。 H(p)=∑plog1p=∑plog1q−∑plogpqH(p) = \sum{p log \frac{1}{p} } = \sum { p log \frac{1}{q} } - \sum { p log \frac{p}{q} }H(p)=∑plogp1=∑plo... 阅读详情

https://www.zhihu.com/question/41252833/answer/195901726

收录于

AI理论

当前文章被收录于：

AI理论

206 篇文章 5 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

原文链接：https://www.zhihu.com/question/41252833/answer/195901726>

交叉熵、熵和相对熵的通俗易懂解释 交叉熵（Cross-Entropy） 交叉熵是一个在机器学习领域经常提到的概念。它经常用作代价(损失)函数，而均方误差或平均绝对误差在使用梯度优化的方法时往往效果不佳，一些饱和的神经网络输出单元结合这些代价函数时会产生非常小的梯度，这也是交叉熵代价函数比均方误差或平均绝对误差更受欢迎的原因。在学习交叉熵之前，我们先来了解下其他的基础概念： 1.什么是自信息(self-information)？... 阅读详情

相关推荐

机器学习基础——香农熵、相对熵（KL散度）与交叉熵

  1. 香农熵（Shannon entropy）   信息熵（又叫香农熵）反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。   如果一个随机变量 X 的可能取值为 X={x1,x2,…,xn}，对应的概率为 p(X=xi)，则随机变量 X 的信息熵为：...

优快云博客 1124

如何通俗的解释交叉熵与相对熵

作者：CyberRep链接：https://www.zhihu.com/question/41252833/answer/195901726来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。讨论这个问题需要从香农的信息熵开始。小明在学校玩王者荣耀被发现了，爸爸被叫去开家长会，心里悲屈的很，就想法子惩罚小明。到家后，爸爸跟小明说：既然你犯错了，就要接受惩罚，但惩罚的程度就...

u012740294的博客 1717

电机控制——PMSM无感FOC控制（一）FOC入门

FOC 是一种电机控制技术，全称为 Field Oriented Control（磁场定向控制），也称作矢量控制。该技术可以提高电机的效率、控制稳定性和精度，广泛应用于电机驱动系统中，是目前无刷直流电机（BLDC）、永磁同步电机（PMSM）、感应电机的高效控制的最优方法之一。本节主要讲了FOC的大致流程，带大家先了解FOC到底是个什么东西在做什么，各个模块具体的原理会放到后面的章节详细讲解。FOC其实就是通过控制，相电流按照正弦变化，从而产生出旋转的磁场，控制电机转子转动。

zhuxinmingde的博客 2624

通俗的解释交叉熵与相对熵

一、交叉熵 (1):离散表示： (2):连续表示：两项中 H(p)是 p的信息熵，后者是p和q的相对熵；二、相对熵 (1):离散表示： (2):连续表示：三、二者关系转载于:https://www.cnblogs.com/hellochennan/p/6623955.html...

weixin_30832983的博客 114

Ubuntu下Vim创建属于自己的头部注释和代码模板

痛点每次打开vim想写个C或者C++的程序都要把固定的模板敲一遍，是不是感觉非常的繁琐，能不能把Vim弄得像IDE那样新建一个文件直接生成对应的头部注释和代码模板，减少这些重复工作呢？下面我尽量详细的介绍实现的方法：先看看新建文件后的效果 C语言格式效果 C++语言效果方法：使用命令 vi /etc/vim/vimrc 打开vimrc这个文件，然后复制以下代码至文件末尾的空白处即可！修改vimrc文件里面的内容必须要用root管理员身份才能进行修改，修改时先切换至root身份即可。 "新建.

weixin_42137584的博客 1561

研一脑电小白日记之 EEGLAB预处理实战指南

本文为脑电研究新手提供了一份详尽的EEGLAB预处理实战指南。从MATLAB与EEGLAB环境搭建、使用NeuracleEEGFileReader插件导入BDF格式数据开始，逐步讲解了电极定位、滤波、降采样、ICA去伪迹等核心步骤，旨在帮助初学者高效完成脑电数据预处理，为后续分析奠定坚实基础。

weixin_29230649的博客 557

如何通俗的解释交叉熵与相对熵?

https://www.zhihu.com/question/41252833

张帅的博客 757

协方差矩阵自适应进化策略（CMA-ES）详解：从基础原理到优化算法

CMA-ES是一种先进的无导数优化算法，基于生物进化原理解决连续域非线性优化问题。该算法通过自适应调整多元正态分布的均值、协方差矩阵和步长参数，自动学习搜索空间结构，无需梯度信息即可高效优化。核心创新包括协方差矩阵的秩1和秩μ更新策略，以及基于进化路径的步长控制机制。CMA-ES具有旋转不变性、标度不变性和全局探索能力，特别适合3-300维的黑盒优化问题，在复杂系统仿真、超参数调优等领域表现优异。算法实现中关键参数如种群大小、学习率等均有自适应设置规则，使其成为连续优化领域的基准算法之一。

qq_42212808的博客 524

【转】如何通俗的解释交叉熵与相对熵?

zest_9527的博客 329

Xilinx_JESD204B

Xilinx_JESD204B_AXI配置说明：通过FPGA的高速数据接口JESD204B对AD9625进行高速采集。环境：Vivado2018.3。 IP核：JESD204(7.2)。参考手册：pg066_jesd204 v7.2。资料以及IP_licence：JESD204B AXI协议资料：AXI 文章目录JESD204B概述JESD204B接口术语JESD204B 层JESD204B_AXI介绍AXI介绍JESD204B__AXI_Lite接口AXI-Lite接口介绍AXI-Lite接口信号

Crazzy_M的博客 1万+

YOLO11-Seg优化：卷积变体系列篇 | 动态蛇形卷积（Dynamic Snake Convolution） | ICCV2023

动态蛇形卷积（Dynamic Snake Convolution）,增强微小特征提取能力，引入到YOLO11-Seg，与C3k2结合实现二次创新

会AI的学姐 371

交叉熵与相对熵

如何通俗的解释交叉熵与相对熵?

power0405hf的专栏 541

数据分析！Python爬虫爬取B站UP主数据并分析涨粉规律（附可视化图表）

爬取更多UP主：扩充列表，增加需要分析的UP主UID数量爬取更多作品：修改的参数，增加每个UP主的作品爬取页数新增分析维度：在类中添加方法，可分析发布时间（如定时发布对涨粉的影响）、内容标签（如游戏/知识区涨粉差异）优化可视化样式：调整方法中的图表类型、颜色、标题等，适配个人展示需求播放量与粉丝数强正相关：从相关性热力图可看出，总播放量与粉丝数的相关系数通常在0.8以上，说明曝光量是涨粉的核心基础作品数量存在“边际效应”

专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。 1226

信息熵/交叉熵/相对熵

参考致敬: 如何通俗的解释交叉熵与相对熵? https://www.zhihu.com/question/41252833 一文彻底搞懂信息熵、相对熵、交叉熵和条件熵（含例子） https://blog.youkuaiyun.com/qq_36931982/article/details/82998081 1一个有趣的例子原文很有趣又通俗易懂,忍不住摘一部分如下: 作者：CyberRep 链接...

lzp_k2的专栏 644

【报错解决】OpenClaw 报错 ENOENT: no such file or directory, open ‘/root/.npmrc‘：配置文件路径不存在

本文分析了OpenClaw平台在国产操作系统环境下运行时出现的ENOENT: no such file or directory, open '/root/.npmrc'错误。该问题源于容器环境中root用户的npm配置文件缺失，导致插件依赖安装失败。文章详细解释了npm配置加载机制和容器环境的特殊性，提出了四种解决方案：手动创建配置文件、写入基础配置、使用全局配置替代以及容器启动时自动初始化。最后指出该错误暴露了工程中对默认路径盲目信任的问题，强调显式声明运行环境依赖的重要性。

博客 2015

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

交叉熵--

https://hacpai.com/article/1516696419994

Hahafly1234的博客 218

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0，兼容Win7/Win10/WinXP，解压就可用。

相对熵与交叉熵_熵、交叉熵、相对熵的整理

1、熵1.1 信息量信息量是指信息多少的度量。一般而言，我们认为一个事件发生的概率越大，那么它包含的信息量就越小。如我们所，明天的太阳还会从东边升起来，这个事情发生的概率非常大，那么它所含的信息量其实没有多少，但是如果我们说如果明天美国要和我们开战了，那么它所含的信息量会更巨大，因为我们不知道美国为什么要和我们开战，开战之后会照成什么样的影响，这些都是我们无法估计的，所以此时它所含有信息量会就很大...

weixin_39992788的博客 938

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面，电脑运行连游戏界面都一样大小，很怀旧，很真实，（英文版）强烈推荐，很小的文件，很难才找到的。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

交叉熵与相对熵的深入探讨——信息论视角下的差异度量比较

其基本公式如下：交叉熵PQ−x∑PxlogQx)相对熵P∥Qx∑PxlogQxPx相对熵P∥Q交叉熵PQ−HP)HP)具体来说：：交叉熵PQ−∑xPxlogQx)相对熵P∥Q∑xPxlogQxPx：相对熵P∥Q∑xPxlogPx−∑xPxlogQx)∑xPxlogPx)HP)相对熵P。

神经美学_茂森的博客 944

从熵、相对熵、交叉熵到机器学习的交叉熵损失与softmax损失函数

在之前学习神经网络的时候，对于损失函数这块，一直以MSE来作为理解，后来交叉熵损失出现之后，也没有深刻地将其理解，写代码时也是直接调用库函数。现在因为读一些新的文章，发现有些看不懂了，因此将这一块知识补充起来。 1、熵（Entropy）熵的概念来源于信息论，可以代表一个事件的复杂度，或者不确定性。一个事件越是不确定性大，那么就是月复杂，所提供的信息就会越多。举个例...

机器学习_成长之路 835

关于在机器学习中交叉熵和相对熵的问题

关于在机器学习中交叉熵和相对熵的问题记录一下在学习当中的问题和解决结果。在学到神经网络时，通常的损失函数都由交叉熵来描述，如下： cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y))) 但通常情况下，在机器学习中相对熵是可以替换交叉熵的。具体解释看链接: 如何通俗的解释交叉熵与相对熵? 我就想既然通常“相对熵”也可称为“交...

weixin_43181523的博客 344

相对熵 vs. 交叉熵

如何理解相对熵(KL散度)他和交叉熵(crossentropy)的区别: 信息熵，ground truth分布，完美编码. 交叉熵，prediction分布，不完美编码 相对熵，交叉熵-信息熵(交叉熵必定大于信息熵)，用来衡量ground truth和prediction这两个分布之间的差异所以，交叉熵(crossentropy用来计算分类损失)。因为交叉熵必定大于信息熵，有利于模型预测的分布往真实分布(信息熵)靠近。而相对熵本来就是一个衡量差异的相对概念，不太适合作为一般的损失函数，个人觉得是因为

weixin_43301333的博客 1163

加权交叉熵_信息熵、条件熵、联合熵、互信息、相对熵、交叉熵

点击上方“机器学习与统计学”，选择“置顶”公众号重磅干货，第一时间送达信息熵、联合熵、条件熵、互信息的关系1、信息量信息量是通过概率来定义的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量可以定义如下：下面解释为什么要取倒数再去对数。(1)先取倒数：这件事表示：“信息量”和“概率”呈反比；(2)...

weixin_35940511的博客 1113

从熵到交叉熵损失的直观通俗的解释

对于机器学习和数据科学的初学者来说，必须清楚熵和交叉熵的概念。它们是构建树、降维和图像分类的关键基础。在本文中，我将尝试从信息论的角度解释有关熵的概念，当我第一次尝试掌握这个概念时，这非常有帮助。让我们看看它是如何进行的。什么是-log§？信息论的主要关注点之一是量化编码和传输事件所需的总比特数：罕见的事件即概率较低的事件，需要表示更多位，而频繁事件不需要很多位。因此我们可以从编码器和通信机的角度出发，将-log§定义为编码和传输符合p概率分布的事件所需的总比特数，即信息。小 p（罕见事件）导致

deephub 3452

信息论随笔2: 交叉熵、相对熵

接上文：信息论随笔1 参考以下：如何通俗的解释交叉熵与相对熵； https://www.zhihu.com/question/41252833/answer/108777563 https://blog.youkuaiyun.com/qq547276542/article/details/78370245 交叉熵 一个变量X，可能有多种取值，每个取值结果对应一个事件，对于一个...

157

上一篇：转载干货 | 陪伴我学习NLP、知识图谱的那些资源（教程+书籍+网站+工具+论文...可以说很全面了）

下一篇： pytorch中torch.Tensor（）与torch.empty（）的区别是什么？

机器学习基础——香农熵、相对熵（KL散度）与交叉熵

优快云博客

04-21

1124