交叉熵

最新推荐文章于 2025-08-26 16:13:37 发布
原创 最新推荐文章于 2025-08-26 16:13:37 发布 · 283 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在这里插入图片描述
KL重合度高接近0，H§不稳定熵接近0

P= Q散开的程度DKL = 0

对于One-hot: −∑plongp-\sum plongp−∑plongp,1log1= 0，即求H(p,q)=H(p)+D(p∣q)H(p,q)= H(p) + D(p|q)H(p,q)=H(p)+D(p∣q)=DKL (p||q),当p=q时，D->0.p，q分别为预测以及样本分布概率函数

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
从上图看出Q1=[0.98,00.1,0,0,0.01],H->0,此时Pθ ->Pr
在这里插入图片描述

  • sigmod会出现饱和的情况，梯度离散。
  • CE收敛较比之收敛更快。
  • cross-entroy不行的情况下可以考虑MES，原因在于梯度求导简单。

pytorch实现

在这里插入图片描述
注：F.cross_entropy包括softmax+log+null_loss

Softmax和交叉熵的联系
Francis_s的博客
10-17 486
刚开始上DL的课就很好奇，为什么大家都选softmax是交叉熵是搭配使用的，老师也不讲.... 1. softmax + crossentropy 首先是理解softmax究竟做了什么事，它就是把模型的输出向量都规整到用概率的形式去表达了，这里softmax的公式就不放了。 譬如这个predict总共有5个类别，某一个样本进网络后的softmax输出是一个vector，[0.1, 0.2, 0.5, 0.1, 0.1]，这里表示的是这个样本一个概率分布：P(X,Y) ...
交叉熵函数
weixin_42924890的博客
01-21 3288
交叉熵损失函数的定义和计算公式。torch中交叉熵损失函数的用法和公式理解。自己实现代码熟悉交叉熵函数计算的过程。
深度学习(十八)——交叉熵
weixin_43633568的博客
03-05 450
交叉熵（Cross Entropy Loss）也是一种loss 香农定理： 用概率决定信息量，公式的意义：比如：买彩票，中100万奖概率小，一旦你中奖了，这个信息量就很大了；但你花10块钱买了一袋零食，本来概率就是100%，这个信息量就很小，由概率决定信息量，两者呈反比。 所以，如果4分类，每个分类出来的概率都是25%，不确定性很高，即求出的E（熵）就很大，可以用作loss。 KL代表散度 ...
什么是跨域请求以及实现跨域的方案
Milk~每天分享一点点，技术进步一点点
07-16 441
什么是跨域请求 概述 ​ 在 HTML 中，<a>, <form>, <img>, <script>, <iframe>, <link> 等标签以及 Ajax 都可以指向一个资源地址，而所谓的跨域请求就是指：当前发起请求的域与该请求指向的资源所在的域不一样。这里的域指的是这样的一个概念：我们认为若协议 + 域名 + 端口号...
交叉熵损失函数原理详解
Cigar
08-30 25万+
交叉熵损失函数原理详解 之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，至于为什么要怎么做也是不懂，所以专门花了一些时间打算从原理入手，搞懂它，故在此写一篇博客进行总结，以便以后翻阅。 交叉熵简介 交叉熵是信息论中的一个...
交叉熵损失函数（Cross Entropy Loss）
SongGu1996的博客
08-10 14万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
交叉熵损失
最新发布
m0_74053237的博客
08-26 1886
交叉熵的本质：衡量 “真实分布P” 与 “预测分布Q” 的差异，是 KL 散度的简化（忽略固定的香农熵）；核心公式：离散分布下，分类任务中因P是 one-hot 分布，可简化为 “-log (真实类别的预测概率)”；二分类应用：单个样本损失，数据集损失为样本平均；优化逻辑：最小化交叉熵等价于让预测分布Q接近真实分布P，最终实现分类准确。
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
热门推荐
史丹利复合田的博客
01-25 27万+
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记录下来，以便日后查阅。
熵和交叉熵
AI大模型/Python/Java/MySQL技术栈，快来和我一起学习吧 ~
05-09 906
交叉熵（Cross-Entropy）则是熵的延伸，直接用于评估模型预测分布与真实数据分布之间的差距，是分类任务中最常用的优化目标之一。将熵与交叉熵的公式分解为可理解的部分，通过逻辑分步和生活化类比，帮助读者掌握其数学本质与实际意义。通过具体机器学习任务，说明熵与交叉熵在模型训练和优化中的实际作用，并展示其解决实际问题的流程。明确熵与交叉熵的数学定义，通过通俗类比解释其核心思想，并说明其在机器学习中的直观意义。让读者理解熵和交叉熵在信息论与机器学习中的核心地位，并掌握其在模型优化中的实际意义。
精选资源
PyTorch中标准交叉熵误差损失函数的实现（one-hot形式和标签形式）
02-08
本文将深入探讨PyTorch中实现的两种交叉熵损失函数形式：one-hot编码形式和标签索引形式。 首先，我们需要理解什么是交叉熵（Cross-Entropy）。交叉熵是一种衡量两个概率分布之间差异的度量，常用于分类问题。在...
精选资源
分类问题损失函数 – 交叉熵
01-06
信息熵： 表示随机变量不确定的度量，是对所有可能发生的事件产生的信息...交叉熵(cross entropy)： 将KL散度公式进行变形得到： 前半部分就是p(x)的熵，后半部分就是交叉熵： 机器学习中，我们常常使用KL散度来评估pr
交叉熵代价函数（作用及公式推导） - Arthur-Chen的专栏 - 优快云博客1
08-03
交叉熵代价函数是神经网络优化过程中常用的一种损失函数，尤其在分类问题中表现优秀。它主要解决了二次代价函数在处理较大误差时导致训练缓慢的问题。本文将深入探讨交叉熵代价函数的作用、公式推导以及与二次代价...
解决pytorch 交叉熵损失输出为负数的问题
09-16
在PyTorch中，交叉熵损失（Cross-Entropy Loss）通常用于分类任务，它衡量的是模型预测概率分布与真实标签之间的差异。交叉熵损失的计算涉及到对数和负数，因此在正常情况下，其输出应该是非负的。然而，当模型的...
理解交叉熵
03-10
交叉熵（Cross Entropy）是信息论中的一个重要概念，它被广泛应用于机器学习，特别是深度学习中的损失函数计算。在讨论交叉熵时，我们需要明确它的数学定义和在实际应用中的意义。 1. 交叉熵CH(p,q)公式中的p和q...
TypeError: Argument given by name (‘thickness‘) and position (4)
milk_and_bread的博客
07-28 4910
TypeError: Argument given by name (‘thickness’) and position (4) cv2.rectangle(image, (left,top), (right , bottom), (255, 0, 0), thickness=2) 错误的原因有一下两个： 左上角坐标以及右下角的坐标为小数导致的类型报错，使用int()整数化 cv2.rectangle 函数要求image的形状应该为（通道，长，宽），如果使用其他读入方式，比如gdal读入影像，此时的im
制作VOC数据集(labelimg标注图片、划分数据集)
milk_and_bread的博客
03-06 4790
文章目录使用labelimg制作VOC数据集VOC数据集介绍labelimg介绍labelimg保姆级使用流程准备工作以官网的样式，先创建文件夹：设置labelimg给图片做标记最终结果数据集的划分准备工作划分数据集程序 使用labelimg制作VOC数据集 VOC数据集介绍 VOC数据集包括三个文件夹 Annotations:以xml文件格式记录图片的名字，类别，目标边框的位置，图片的大小 ...
MMdetection训练配置
milk_and_bread的博客
10-22 2622
mmdetecton 安装 采用mmdetection,安装教程参考： Windows下配置MMDetection 数据集准备 实验为自制VOC数据集，使用tools/dataset_converters/pascal_voc.py转换为COCO格式数据集，结果包括 voc07_train.json、voc07_test.json、voc07_val.json，COCO数据集JSON文件格式字段说明参考： COCO数据集JSON文件格式 FasterRCNN训练模型配置 进入configs->fast
OpenCV目标跟踪物体跟踪
milk_and_bread的博客
05-07 2205
任务目标 物体跟踪 从视频中获取每一帧图像 图像转换为HSV空间 设置HSV阈值到蓝色范围 获取蓝色物体 在图像处理中使用较多的是 HSV 颜色空间，它比 RGB 更接近人们对彩色的感知经验。非常直观 地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。 cv2.inRange() 作用：设定边界值，超出边界像素值改为0 lower_blue：阈值的下界（小于这个值，图像像素...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值