为什么使用交叉熵作为损失函数

最新推荐文章于 2021-05-18 23:10:43 发布
转载 最新推荐文章于 2021-05-18 23:10:43 发布 · 250 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://zhuanlan.zhihu.com/p/70804197

给定内容仅为一个知乎专栏链接，无具体博客信息，无法提取关键信息生成摘要。
为什么要用“交叉熵”做损失函数
AI与算法都要通俗易懂
11-12 971
作为一种损失函数，它的重要作用便是可以将“预测值”和“真实值(标签)”进行对比，从而输出 loss 值，直到 loss 值收敛，可以认为神经网络模型训练完成。假设模型经过了改良，在完成一次推理或者一轮训练后，对第一张图得到了如下的预测，也就是说这张图有98%的概率是狗，这个标签的100%已经差的很少了。该分类表明，第一张图像越 40%的概率是狗，30%的概率是狐狸，5%的概率是马，5%的概率是老鹰，20%的概率是松鼠。但是，单从图像标签上看，它100%是一只狗，标签为我们提供了这张图片的准确的概率分布。
从理论上理解采用交叉熵作为损失函数的意义
shange19的博客
11-04 3785
简要解释为什么要使用交叉熵作为损失函数。用简短的话来解释就是：我们需要得到最大似然估计，即模型得到的预测分布应该与数据的实际分布情况尽可能相近。KL散度(相对熵)是用来衡量两个概率分布之间的差异。模型需要得到最大似然估计，乘以负Log以后就相当于求最小值，此时等价于求最小化KL散度(相对熵)。所以得到KL散度就得到了最大似然。又因为KL散度中包含两个部分，第一部分是交叉熵，第二部分是信息熵，即KL...
为什么交叉熵可以做损失函数?
weixin_40479663的博客
01-12 1688
交叉熵: 一句介绍:相对熵(KL散度)是衡量两个概率分布之间的距离,等于交叉熵加上个熵,在一定条件下熵值是固定的数值,所以交叉熵可以看做等于相对熵. 说交叉熵之前先介绍相对熵，相对熵又称为KL散度（Kullback-Leibler Divergence），用来衡量两个分布之间的距离，记为 这里H§是p的熵。 假设有两个分布p和q，它们在给定样本集上的交叉熵定义为： 从这里可以看出，交叉熵和相对...
为什么用交叉熵做损失函数
huwenxing0801的博客
09-20 2万+
交叉熵(cross entropy)经常用来做机器学习中的损失函数。 要讲交叉熵就要从最基本的信息熵说起。 1.信息熵 信息熵是消除不确定性所需信息量的度量。（多看几遍这句话） 信息熵就是信息的不确定程度，信息熵越小，信息越确定。 信息熵=∑x=1n(信息x发生的概率×验证信息x需要的信息量)信息熵 = \sum_{x=1}^{n}(信息x发生的概率 × 验证信息x需要的信息量)信息熵=∑x=1n...
为什么使用交叉熵作为损失函数？
Steve Wang's blog
06-08 2454
如果概括性地回答这个问题，我们其实是希望得到最大似然(maximum likelihood)，使得模型的预测分布与数据的实际分布尽可能相近。而最大化log似然等同于最小化负log似然，最小化负log似然等价于最小化KL散度(相对熵)，KL散度里包含有只与数据集相关而与模型无关的logp^datalog\hat{p}_{data}logp^​data​，这一部分对每个特定数据集来说是一个定值，为了简...
CNN为什么选择交叉熵作为损失函数，损失函数的作用
最新发布
04-01
好的，我现在需要回答用户关于为什么CNN选择交叉熵作为损失函数，以及损失函数的作用的问题。首先，我得回想一下交叉熵的基本概念和它在机器学习中的应用。 交叉熵是信息论中的一个概念，用来衡量两个概率分布之间...
交叉熵损失函数原理详解
01-06
只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，至于为什么要怎么做也是不懂，所以专门花了一些时间打算从...
机器学习-保险产品推荐（tensorflow的神经网络判断是否推荐，使用交叉熵作为损失函数，资源包含完整代码和数据）
06-07
6. **训练过程**：使用优化器（如Adam）和损失函数（交叉熵）更新模型参数。在每次迭代中，模型都会尝试减少损失，提高预测准确性。 7. **评估指标**：评估模型性能时，我们通常会关注准确率、精确率、召回率和F1...
为什么交叉熵能作为损失函数及其弥补了平方差损失什么缺陷
qq_41853758的博客
09-24 8240
在很多二分类问题中，特别是正负样本不均衡的分类问题中，常使用交叉熵作为loss对模型的参数求梯度进行更新，那为何交叉熵能作为损失函数呢，我也是带着这个问题去找解析的。 以下仅为个人理解，如有不当地方，请读到的看客能指出。 我们都知道，各种机器学习模型都是模拟输入的分布，使得模型输出的分布尽量与训练数据一致，最直观的就是MSE（均方误差，Mean squared deviation), 直接就是...
交叉熵为何能作损失函数
wenzishou的专栏
08-27 3万+
在很多二分类问题中，特别是正负样本不均衡的分类问题中，常使用交叉熵作为loss对模型的参数求梯度进行更新，那为何交叉熵能作为损失函数呢，我也是带着这个问题去找解析的。 以下仅为个人理解，如有不当地方，请读到的看客能指出。 我们都知道，各种机器学习模型都是模拟输入的分布，使得模型输出的分布尽量与训练数据一致，最直观的就是MSE（均方误差，Mean squared deviation), 直接就是
【机器学习】交叉熵为什么能当损失函数
zkq_1986的博客
11-30 358
交叉熵为什么能当损失函数？因为最小化交叉熵与最小化KL散度等价。KL散度越小，说明两个分布越接近。 下面证明最小化交叉熵与最小化KL散度等价。 证明： A的熵的公式： A与B KL散度的公式： A与B交叉熵的公式： 因此，Ａ与Ｂ的交叉熵 ＝ Ａ与Ｂ的KL散度 - Ａ的熵 A的熵表示真实数据的熵，该值固定。所以最小化Ａ与Ｂ的交叉熵和最小化Ａ与Ｂ的KL散度等价。   p....
机器学习之相对熵、交叉熵（为什么交叉熵可以作为损失函数）
冰糖麻辣鱼的博客
12-10 671
文章目录自信息信息熵相对熵（KL散度）交叉熵为什么交叉熵可以作为损失函数参考文章 自信息   信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能够提供发更多的信息。消息说：“今天早上太阳升起”，信息量是如此少，以至于没有必要发送；但一条消息说：“今天早上有日食”，信息量就很丰富。   一条信息的信息量大小和它的不确定性有直接的关系，我们可以认为，信息量的度量就等于不确定...
神经网络的学习为何要设定损失函数以及为什么要使用交叉熵损失函数
时光、疏离了记忆づ童话的博客
09-27 2517
文章目录一、神经网络的学习为何要设定损失函数二、为什么用交叉熵做损失函数1.信息熵2.相对熵(KL散度)3.交叉熵4.为什么使用交叉熵5.使用场景 纯转载文章,链接见文末 一、神经网络的学习为何要设定损失函数 ▍基本概念： 神经网络中的“学习”是指从训练数据中自动获取最优权重参数的过程。学习的目的就是以该损失函数为基准，找出能使它的值达到最小的权重参数。 ▍问题描述： 可能有人会问： 我们想获得的是能提高识别精度的参数，特意再导入一个损失函数不是有些重复劳动吗？既然我们的目标是获得使识别精度尽可能高的神经
交叉熵作为损失函数
我是欢乐谷啊~
03-10 427
来源 http://blog.youkuaiyun.com/jasonzzj/article/details/52017438
交叉熵做损失函数
weixin_30394333的博客
09-07 122
思考，如何理解相对熵是负数？相对熵有没有可能是负数？ 相对熵永远不能是负数 因为你犯错误的信息量一定比原来的信息量要大！ 转载于:https://www.cnblogs.com/china520/p/11483668.html...
损失函数——交叉熵
zju_huster的博客
07-29 688
损失函数交叉熵定义 定义     交叉熵是信息论中的一个概念，开始是用来估算平均编码长度的。假设给定两个概率分布p和q，通过q来表示p的交叉熵为 ...
损失函数——交叉熵损失函数（CrossEntropy Loss）
热门推荐
weixin_45665708的博客
12-16 11万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
【机器学习】交叉熵做损失函数 BCE loss
chentao326的博客
05-18 3593
参考文章: 为什么用交叉熵做损失函数 详解机器学习中的熵、条件熵、相对熵和交叉熵 这边做摘抄 目录1.信息熵2.相对熵(KL散度)3.交叉熵使用交叉熵的原因 1.信息熵 信息熵是消除不确定性所需信息量的度量。（多看几遍这句话） 信息熵就是信息的不确定程度，信息熵越小，信息越确定。 (因为事件都有个概率分布，这里我们只考虑离散分布) 举个列子，比如说： 今年中国取消高考了，那我们就要去查证了， 这样就需要很多信息量(去查证)；反之如果说今年正常高考，大家回想：这很正常啊，不怎么需要查证，这样需要的信息量就
MTCNN使用交叉熵作为损失函数
05-15
MTCNN是一种用于人脸检测的深度学习算法，其中使用交叉熵作为损失函数的目的是为了训练网络使其能够准确地分类出人脸和非人脸区域。交叉熵是一种常见的分类损失函数，它的计算方式为将真实标签和预测标签之间的差异...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值