对于交叉熵的一些理解

最新推荐文章于 2024-02-12 11:49:58 发布
原创 最新推荐文章于 2024-02-12 11:49:58 发布 · 199 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

如果有错误，欢迎指正。

交叉熵应该是从极大似然估计从推导出来的，并且使用的log似然的形式是为了提高反向传播的速度和防止不收敛。

具体内容可以参考参考文献。

这篇参考文献对MSE的缺点作出了分析（主要的缺点是反向传播的速度太慢，可能导致收敛到局部最优）。

参考文献：

Supervised Learning of Probability Distributions by Neural Networks

交叉熵损失函数中为什么核心是使用对数函数计算惩罚
XD的博客
11-29 940
惩罚错误预测的严重性：对数函数对预测概率小的类别给予更大惩罚，有助于提升模型对正确类别的信心。与最大似然估计的关系：交叉熵损失可以看作是最大化对数似然的负值，符合概率模型的优化目标。提高数值稳定性：对数能够平滑极小的概率值，避免计算过程中的数值不稳定。梯度计算的简化：对数函数具有良好的导数性质，能有效支持反向传播和梯度下降的计算。适应概率分布的结构：交叉熵损失能够度量真实概率分布和预测概率分布之间的差异，符合概率论中的基本原理。
多分类交叉熵理解
计算机视觉之光
11-17 3826
介绍交叉熵损失的计算方法和示例。
【数学】分析log与熵的常见知识盲点
h
05-08 1667
介绍log与熵的常见知识盲点。重点在为什么使用log、最小化交叉熵损失
交叉熵的公式是怎么来的
gt362ll的博客
07-31 4772
交叉熵损失函数是机器学习中一个常见的损失函数，用来衡量目标与预测值之间的差距，看着公式能感觉到确实有种在衡量差距的感觉，但是又说不出为什么有这种作用。下面从信息量-信息熵-交叉熵的步骤来看交叉熵公式的意义。 信息量 信息量是我们能获得未知信息的多少，比如我说周杰伦某天开演唱会，这件事信息量就很小，因为演唱会哪天开已经公布了，这件事发生的概率很大，不用我说你也知道。但是我如果说周杰伦出轨了，这件...
信息论——熵——交叉熵
03-27 1009
交叉熵:交叉熵：主要用于度量两个概率分布间的差异性，交叉熵是表示两个概率分布p、q，其中p表示真实概率，q表示非真实概率。公式:H(p,q)=∑ipilog(1qi)H(p,q)=\sum_{i} p_ilog(\frac{1}{q_i})例:一支小组4个球队(a、b、c、d)，出现的概率分别为pip_i=(12\frac{1}{2},14\frac{1}{4},18\frac{1}{8},18\f
softmax交叉熵为什么要取-log
LEILEI18A的博客
09-24 3368
softmax交叉熵为什么要取"-log" ####################################################################################### 如图：-log是递减函数，对应着 错误越大包含信...
理解交叉熵
03-10
交叉熵（Cross Entropy）是信息论中的一个重要概念，它被广泛应用于机器学习，特别是深度学习中的损失函数计算。在讨论交叉熵时，我们需要明确它的数学定义和在实际应用中的意义。 1. 交叉熵CH(p,q)公式中的p和q...
交叉熵的理解
qq_40824311的博客
11-29 420
晚上看论文，本来在查表示定理相关的内容，结果莫名其妙地绕到了交叉熵上面来了，之前一直对这个概念一知半解的，看了一些知乎上的讲解，然后做个总结。 信息熵 在讲交叉熵之前先讲一下信息熵，信息熵的公式如下： H(X)=−∑i=1np(xi)logp(xi)H(X)=-\sum_{i=1}^{n}p(x_{i})log p(x_{i})H(X)=−∑i=1n​p(xi​)logp(xi​) 可以把−log...
熵、相对熵、交叉熵等理解
weixin_41093566的博客
04-11 1144
** 信息量 ** 假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关，...
从交叉熵角度理解困惑度（perplexity）
qq_41775769的博客
12-08 5083
从交叉熵理解困惑度 我们通常使用**困惑度（perplexity）来评价语言模型的好坏。通过理解困惑度，也可以让我们更加深入的理解交叉熵（CrossEntropy）**的意义，也可以轻易量化模型的性能。 回顾交叉熵以及多分类问题的损失函数。假设现有 NNN 个数据样本，其中样本的标签为 Yi(i=1,2,⋯ ,N)Y_i(i=1,2,\cdots,N)Yi​(i=1,2,⋯,N)，而模型对样本的预测值记为 Yi^(i=1,2,⋯ ,N)\widehat{Y_i}(i=1,2,\cdots,N)Yi​​(i=
熵为什么使用log？
xian0710830114的专栏
12-03 2867
首先，信息也是物理量，就像质量kg，我们测量质量的方法是，我们选择一个参照物，把这个物体的质量定义为1kg，当想要测量其它物体的质量时就看这个这个物体的质量相当于多少个参照物的质量，这里的多少个便是kg。 上图中待测物体的质量m等于参照物体的质量B乘以参照物体的个数n，所以当知道总质量m要求个数n时，我们用乘法的反函数，既除法来计算。 但是测量信息时，不能用除法，比如抛掷3枚硬币能够产生的结果是2的3次方=8种，而不是2*3=6种，是指数关系而...
交叉熵的理解：理解交叉熵的时候勿引入熵的概念来理解
python__reported的博客
10-27 547
交叉熵的理解：理解交叉熵的时候勿引入熵的概念来理解 结论 理解交叉熵的时候勿引入熵的概念来理解 原因 每当我试图交叉熵的时候，网上找的科普文章都会引入熵的概念，说要从熵的概念入手，然后感觉自己更加迷茫了。 然后一堆名词就过来了，如信息量、熵、概率、相对熵、交叉熵等等 理解 但是其实完全不用管它，不用管熵这个概念，直接损失函数的目的出发。 损失函数是寻找预测的标签与真实标签的差异，均方误差（MSE）、均方根误差（RMSE）、MAE(平均绝对误差)都是为了这一个目的。 而交叉熵的log，也能实现这一
关于交叉熵的个人理解
weixin_42078618的博客
08-16 2921
在信息论和机器学习中，常常会聊到交叉熵这个概念，用这个专有名词来计算预测结果与实际结果的差距，简单地说就是判断学习的好与坏。 那为了方便大家更加比较抽象地理解什么是交叉熵，我们先来聊一下什么是熵。 一：熵         熵，简而言之就是信息量。        举个栗子：        罗大黑同志，每天早上的早饭都是螺蛳粉，一年下来天天如此。然后，今天，我又看见罗大黑同志早餐去吃螺蛳粉，...
基础算法：交叉熵损失函数
weixin_48186491的博客
10-10 478
改进方法论文：”随机优化的改进交叉熵方法“，DOI：10.13700/j.bh.1001-5965.2017.0017 交叉熵主要用于度量两个概率分布之间的差异性。 信息量 设某一个事件发生的概率为????(????)，则信息量表示为????????=−log⁡(????(????))，I(x)表示信息量，log是以e为底的自然对数。 信息熵 用来表示所有信息量的希望，公式：（X表示一个离散型的随机变量）????????=−????=1????????????????log⁡(??????????
交叉熵损失函数基本概念及公式
qlkaicx的博客
02-12 1万+
对于二分类问题，模型的输出通常是一个标量，表示样本属于正类的概率。因此，在二分类的交叉熵损失函数中，我们只需要考虑一个概率值，即模型预测为正类的概率。具体来说，当真实标签为1时，我们关注模型预测为正类的概率；当真实标签为0时，我们关注模型预测为负类的概率。因此，二分类的交叉熵损失函数可以表示为：其中，y 表示真实标签，取值为 0 或 1；p 表示模型预测为正类的概率。而对于多分类问题，模型的输出通常是一个向量，表示样本属于各个类别的概率。因此，在多分类的交叉熵损失函数中，我们需要考虑所有类别的概率。
交叉熵损失函数和似然估计_LR为什么用极大似然估计，损失函数为什么是log损失函数（交叉熵）...
weixin_42315824的博客
01-14 751
去今日头条面试没有答上来，回来自己想了想，查了查，把解释写出来，不一定合理。首先，逻辑回归是一个概率模型，不管x取什么值，最后模型的输出也是固定在(0,1)之间，这样就可以代表x取某个值时y是1的概率这里边的参数就是θ，我们估计参数的时候常用的就是极大似然估计，为什么呢？可以这么考虑比如有n个x，xi对应yi=1的概率是pi，yi=0的概率是1-pi，当参数θ取什么值最合适呢，可以考虑n个x中对应...
【Pytorch基础】torch.nn.CrossEntropyLoss损失函数介绍
热门推荐
sxl的博客
05-10 2万+
目录1 交叉熵的定义2 交叉熵的数学原理3 Pytorch交叉熵实现3.1 举个栗子3.2 Pytorch实现3.3 F.cross_entropy参考文献 1 交叉熵的定义   交叉熵主要是用来判定实际的输出与期望的输出的接近程度，为什么这么说呢，举个例子：在做分类的训练的时候，如果一个样本属于第K类，那么这个类别所对应的的输出节点的输出值应该为1，而其他节点的输出都为0，即[0,0,1,0,….0,0]，这个数组也就是样本的Label，是神经网络最期望的输出结果。也就是说用它来衡量网络的输出与标签的差异
为什么在计算信息熵的时候要用log?
u011516606的专栏
06-25 3465
熵在信息论中的定义如下： 　　 如果有一个系统S内存在多个事件S = {E1,...,En}, 每个事件的机率分布 P = {p1, ..., pn}，则每个事件本身的讯息为 　　 Ie = − log2pi 　　（对数以2为底，单位是位元(bit)） 　　 Ie = − lnpi 　　（对数以e为底，单位是纳特/nats） 　 　如英语有26个字母，假如每个字母在文章中出现次数平均的话，
机器学习中的基本问题——log损失与交叉熵的等价性
null的专栏
03-09 1万+
1、log损失 log损失的基本形式为： log(1+exp(−m))log(1+exp(−m))log\left ( 1+exp\left ( -m \right ) \right ) 其中，m=y⋅y^m=y⋅y^m=y\cdot \hat{y}，y∈{−1,1}y∈{−1,1}y\in\left \{ -1,1 \right \}。 对上述的公式改写： ⇒1m∑i=1...
如何理解交叉熵
最新发布
05-07
### 交叉熵的定义 在机器学习中，交叉熵是一种衡量两个概率分布之间差异的方法。具体而言，它用于评估模型预测的概率分布 $\hat{y}$ 和真实标签分布 $y$ 的接近程度[^4]。如果两者完全一致，则交叉熵值最小。 交叉熵的形式化定义如下：给定一个离散随机变量的真实分布 $P(x)$ 和近似分布 $Q(x)$，则它们之间的交叉熵为： $$ H(P, Q) = -\sum_{x} P(x)\log(Q(x)) $$ 其中，$\log(Q(x))$ 是以自然对数为基础的对数值[^5]。 --- ### 交叉熵的公式推导与计算 对于二分类问题，假设真实标签为 $y \in {0, 1}$，而模型输出的预测概率为 $\hat{y} \in [0, 1]$，此时交叉熵损失函数可以写成： $$ L(y, \hat{y}) = -(y \cdot \log(\hat{y}) + (1-y) \cdot \log(1-\hat{y})) $$ 而对于多分类问题（假设有 $K$ 类），设真实标签向量为独热编码形式 $y_k$，模型输出的概率分布为 $\hat{y}_k$，则交叉熵损失函数为： $$ L(y, \hat{y}) = -\sum_{k=1}^{K} y_k \cdot \log(\hat{y}_k) $$ 这里需要注意的是，为了防止取对数时出现零值而导致无穷大误差，通常会对输入加一个小常数平滑项，例如 $\epsilon = 1e-8$[^3]。 以下是基于 Python 实现的一个简单例子： ```python import numpy as np def cross_entropy_loss(y_true, y_pred): epsilon = 1e-8 # 防止 log(0) y_pred_clipped = np.clip(y_pred, epsilon, 1 - epsilon) loss = -np.sum(y_true * np.log(y_pred_clipped), axis=-1) return np.mean(loss) # 示例数据 y_true = np.array([[1, 0, 0], [0, 1, 0]]) # 真实标签 y_pred = np.array([[0.9, 0.05, 0.05], [0.1, 0.8, 0.1]]) # 模型预测 loss_value = cross_entropy_loss(y_true, y_pred) print(f"交叉熵损失: {loss_value}") ``` --- ### 应用场景 #### 图像分类 在卷积神经网络（CNN）中，交叉熵被广泛应用于图像分类任务。通过优化交叉熵损失函数，模型能够更好地调整权重参数，使得最终输出更贴近真实类别分布[^3]。 #### 自然语言处理 无论是词嵌入还是序列建模，交叉熵都扮演着核心角色。比如，在文本生成过程中，每一步都会根据前文上下文预测下一个单词的可能性，并以此为目标最大化正确答案对应的条件概率[^1]。 #### 迁移学习 当面临目标域样本稀缺的情况时，可以通过预训练好的源模型提取特征并微调最后一层全连接部分完成新任务的学习过程。在此期间仍然采用交叉熵作为监督信号指导整个流程进展[^2]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值