（转）交叉熵损失函数的推导过程与直观理解

最新推荐文章于 2025-06-13 14:39:48 发布
转载 最新推荐文章于 2025-06-13 14:39:48 发布 · 5.7k 阅读 · 20
文章标签：

#交叉熵损失函数 #推导

本文深入探讨了交叉熵损失函数的推导过程及其直观理解，适用于逻辑回归和神经网络等二分类问题。通过详细的数学推导，解释了该函数如何衡量真实标签与预测概率之间的差距。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【时间】2019.01.09

【题目】（转）交叉熵损失函数的推导过程与直观理解

【转载链接】简单的交叉熵损失函数，你真的懂了吗？

一、交叉熵损失函数的推导过程

     说起交叉熵损失函数「Cross Entropy Loss」，脑海中立马浮现出它的公式：

                      
     我们已经对这个交叉熵函数非常熟悉，大多数情况下都是直接拿来使用就好。但是它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？上面的交叉熵函数是否有其它变种？也许很多朋友还不是很清楚！没关系，接下来我将尽可能以最通俗的语言回答上面这几个问题。

【推导过程】
我们知道，在二分类问题模型：例如逻辑回归「Logistic Regression」、神经网络「Neural Network」等，真实样本的标签为 [0，1]，分别表示负类和正类。模型的最后通常会经过一个 Sigmoid 函数，输出一个概率值，这个概率值反映了预测为正类的可能性：概率越大，可能性越大。

Sigmoid 函数的表达式和图形如下所示：


二、交叉熵损失的直观理解

交叉熵损失函数原理详解
人工智能
04-29 2425
在学习pytorch的神经网络模型里，经常用到交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数
MATLAB算法实战应用案例精讲-【数模应用】交叉熵损失函数（Cross-entropy loss function）（补充篇）
qq_36130719的博客
07-06 600
不过要注意，从模型的角度来看，找到不是最终目的，找的过程（即模型的训练）更重要。模型以找到为目标，不断去拟合数据点，使得它的输出离数据的观察值越来越近，直至近到我们满意为止，这时，模型就算训练好了。然后，这个模型针对任何一个新的输入值，就会产生符合训练数据集的分布的一个输出，此输出值即模型产生的预测值。一般是用来量化两个概率分布之间差异的损失函数（多用于分类问题）。举个例子，在多分类问题中，一个物体所属于不同类别的真实分布p如下：也就是说，真实的分类是这个物体属于Class B。预测分布q。
交叉熵损失函数详解推导
yanglee0
05-24 2064
交叉熵损失函数「Cross Entropy Loss」公式： 我们已经对这个交叉熵函数非常熟悉，大多数情况下都是直接拿来使用就好。但是它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？上面的交叉熵函数是否有其它变种？也许很多朋友还不是很清楚！没关系，接下来我将尽可能以最通俗的语言回答上面这几个问题。 1. 交叉熵损失函数的数学原理 我们知道，在二分类问题模型：例如逻辑回归「Logistic Regression」、神经网络「Neural Network」等，真实样本的标签为 [0，1]，分别表
一文搞懂分类问题中的交叉熵损失
最新发布
m0_60610428的博客
06-13 659
本文围绕分类问题中的交叉熵损失展开，先对比其与回归损失（MAE、MSE）的适用场景，从信息论角度解析熵、KL散度与交叉熵的概念及数学关系，推导分类任务中交叉熵与KL散度的等价性。接着详解二分类与多分类的损失公式，通过数值案例展示预测准确性与损失值的关联，对比交叉熵与MSE的梯度特性差异，最后给出PyTorch代码实现，为学习损失函数的同学提供从理论到实践的全面参考。
交叉熵损失函数详解
热门推荐
journey_fan的专栏
03-23 1万+
交叉熵损失函数 说到交叉熵损失函数（Cross Entropy Loss），就想到公式：L=−[ylogy^+(1−y)log(1−y^)]L=-[ylog \hat y + (1-y)log(1- \hat y)]L=−[ylogy^​+(1−y)log(1−y^​)] 大多数情况下，这个交叉熵函数直接拿来用即可，但是知其然还要知其所以然，关于它是怎么推导而来的，为什么它能表征真实样本标签和预测...
交叉熵损失函数推导
张小猪的家
08-16 507
我们知道，在二分类问题模型：例如逻辑回归「Logistic Regression」、神经网络「Neural Network」等，真实样本的标签为 [0，1]，分别表示负类和正类。模型的最后通常会经过一个 Sigmoid 函数，输出一个概率值，这个概率值反映了预测为正类的可能性：概率越大，可能性越大。 Sigmoid 函数的表达式和图形如下所示： 其中 s 是模型上一层的输出，Sigmoid 函数有这样的特点：s = 0 时，g(s) = 0.5；s >> 0 时， g ≈ 1，s <&
交叉熵损失函数的推导
oldlybaby的博客
08-22 2662
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、交叉熵是什么？二、解决sigmoid激活函数的问题1.sigmoid损失函数存在的问题2.交叉熵的引入2.读入数据总结 前言 最近在学习自然语言处理，其中大量模型涉及到了用softmax层作为输出，再用交叉熵（cross-entropy loss）作为损失函数。 在此回忆一下交叉熵损失函数，并从3个方面： 为了解决sigmoid激活函数的问题 从极大似然估计推导 从信息论推导 推导其由来。 提示：以下是本篇文章正文内
交叉熵损失函数整理
Kevin.wang
07-26 4629
文章目录一.交叉熵函数的由来(推导)二.交叉熵函数直观理解三.交叉熵函数求导3.1Sigmoid + Cross-entropy3.2SoftMax + Cross-entropy四.交叉熵与SoftMax函数 一.交叉熵函数的由来(推导) 我们一共有m组已知样本, (x(i),y(i))(x^{(i)},y^{(i)})(x(i),y(i))表示第i组数据及其对应的类别标记, 其中x(i)=(1,x1i,x2i,x3i…xpi)x^{(i)} = (1, x^{i}_1,x^{i}_2,x^{i}_3…x
交叉熵损失函数优缺点_交叉熵损失函数
weixin_39608748的博客
12-19 2518
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前，本文先简要介绍二次代价函数，以及其存在的不足。二次代价函数的不足ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时，当发现自己犯的错误越大时，改正的力度就越大。比如投篮...
机器学习(11)-探秘交叉熵损失函数
Lavi的专栏
01-09 1465
探秘交叉熵损失函数1 前言2 二分类的交叉损失函数形式2.1 交叉熵损失函数的常见形式2.2 交叉损失函数的另一种形式3 Softmax函数与交叉熵损失函数 1 前言 学习机器学习相关的算法的时候会，经常看到交叉熵损失函数。交叉熵损失函数的最常见的形式，学习LR(Logistics Regression)函数的时候，给出的交叉熵损失函数，也是比较容易理解的形式。但是除了LR算法中会接触到交叉熵损失...
MATLAB算法实战应用案例精讲-【数模应用】交叉熵损失函数（Cross-entropy loss function）
qq_36130719的博客
07-05 746
交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。
交叉熵损失函数
Lian_Ge_Blog的博客
07-25 2610
交叉熵函数公式推导以及分类问题使用交叉熵损失函数而不是使用MSE的原因对比
交叉熵代价函数(损失函数)及其求导推导
liuheng0111的博客
10-11 2206
前言交叉熵损失函数交叉熵损失函数的求导 前言
交叉熵损失函数数学推导
studyvcmfc的专栏
04-03 260
https://juejin.im/post/5b28bd26f265da59bb0cc8f6
【交叉熵损失函数推导与理解】
qq_54259059的博客
05-26 1228
从极大似然的角度推导分类情况的交叉熵损失函数。
交叉熵代价函数定义及其求导推导（读书笔记）
HuangQinJian
11-24 4170
交叉熵代价函数
二元交叉熵损失函数图像
03-22
### 二元交叉熵损失函数的图像可视化 二元交叉熵损失函数通常用于二分类问题，其目标是通过最小化该损失函数来优化模型性能。对于单个样本 \(i\) 的真实标签 \(y_i \in \{0, 1\}\) 和预测概率 \(p_i\)（即模型输出），二元交叉熵损失可以表示为： \[ L(p_i, y_i) = -[y_i \log(p_i) + (1-y_i)\log(1-p_i)] \] 其中： - 当 \(y_i = 1\) 时，损失主要由 \(-\log(p_i)\) 控制； - 当 \(y_i = 0\) 时，损失主要由 \(-\log(1-p_i)\) 控制。 #### 公式推导与意义 上述公式的直观含义在于惩罚预测值远离真实值的情况。当预测值接近于实际标签时，损失会逐渐减小；反之，则增大[^4]。 以下是绘制二元交叉熵损失函数曲线的 Python 示例代码： ```python import numpy as np import matplotlib.pyplot as plt def binary_cross_entropy_loss(y_true, p_pred): epsilon = 1e-15 # 防止 log(0) p_pred_clipped = np.clip(p_pred, epsilon, 1 - epsilon) return -(y_true * np.log(p_pred_clipped) + (1 - y_true) * np.log(1 - p_pred_clipped)) # 绘图范围 p_values = np.linspace(0.01, 0.99, 100) # 对应两种情况下的损失计算 loss_y_1 = [binary_cross_entropy_loss(1, p) for p in p_values] loss_y_0 = [binary_cross_entropy_loss(0, p) for p in p_values] plt.figure(figsize=(8, 6)) plt.plot(p_values, loss_y_1, label="Loss when $y=1$", color='blue') plt.plot(p_values, loss_y_0, label="Loss when $y=0$", color='red', linestyle="--") plt.title("Binary Cross Entropy Loss Function", fontsize=16) plt.xlabel("Predicted Probability ($p$)", fontsize=14) plt.ylabel("Loss Value", fontsize=14) plt.legend(fontsize=12) plt.grid(True) plt.show() ``` 此代码片段展示了如何针对不同预测概率 \(p\) 来计算并绘制定义在两个极端条件 (\(y=1\) 或 \(y=0\)) 下的损失变化趋势。 #### 曲线特性解读 从生成的图表可以看出： - **当 \(y=1\) 时**：随着预测概率 \(p\) 趋近于 1，损失迅速下降至零附近。 - **当 \(y=0\) 时**：随着预测概率 \(p\) 接近于 0，损失同样趋于稳定减少。 这表明二元交叉熵能够有效引导模型调整权重以提高预测准确性。 此外，在某些特定场景下，还可以结合其他方法进一步探索损失函数的行为模式及其对优化过程的影响[^3]。 --- ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值