二分类问题的交叉熵函数和多分类问题的交叉熵函数

最新推荐文章于 2025-07-28 16:46:49 发布

原创

最新推荐文章于 2025-07-28 16:46:49 发布 · 1.9w 阅读

23 ·

CC 4.0 BY-SA版权

二分类问题的交叉熵损失函数;

在二分类问题中，损失函数为交叉熵损失函数。对于样本（x,y）来讲，x为样本 y为对应的标签。在二分类问题中，其取值的集合可能为{0，1}，我们假设某个样本的真实标签为yt，该样本的yt=1的概率为yp，则该样本的损失函数为：

$log(yt|yp) = - (yt*log(yp) + (1 - yt)log(1 - yp))$

如果对于整个数据集上的模型而言：其损失函数就是所有样本的点的损失函数的平均值。

多分类的问题的函数交叉熵损失函数：

在多分类问题中，损失函数也是交叉熵损失函数，对于样本（x,y）来讲，y是真实的标签，预测标签为所有标签的集合，我们假设有k个标签值，第i个样本预测为第K个标签的概率为pi,k，一共有N个样本，则总的数据集损失函数为：

最低0.47元/天解锁文章

新学期VIP享超值加赠

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fendon@l

关注关注

2
点赞
踩
23

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

交叉熵损失函数基本概念及公式

qlkaicx的博客

02-12

9726

对于二分类问题，模型的输出通常是一个标量，表示样本属于正类的概率。因此，在二分类的交叉熵损失函数中，我们只需要考虑一个概率值，即模型预测为正类的概率。具体来说，当真实标签为1时，我们关注模型预测为正类的概率；当真实标签为0时，我们关注模型预测为负类的概率。因此，二分类的交叉熵损失函数可以表示为：其中，y 表示真实标签，取值为 0 或 1；p 表示模型预测为正类的概率。而对于多分类问题，模型的输出通常是一个向量，表示样本属于各个类别的概率。因此，在多分类的交叉熵损失函数中，我们需要考虑所有类别的概率。

交叉熵函数

weixin_42924890的博客

01-21

3207

交叉熵损失函数的定义和计算公式。torch中交叉熵损失函数的用法和公式理解。自己实现代码熟悉交叉熵函数计算的过程。

3 条评论您还未登录，请先登录后发表或查看评论

二分类交叉熵与多分类交叉熵详解及实例计算

weixin_51524504的博客

08-19

5314

二分类交叉熵（Binary Cross Entropy, BCE）通常用于只有两个类别的分类问题。它的目的是最小化模型预测概率与实际标签之间的差异。多分类交叉熵（Categorical Cross Entropy, CE）适用于三个或更多类别的分类任务。它的目标也是最小化模型预测概率与实际标签之间的差异。

【深度学习】深入理解交叉熵损失函数 (Cross-Entropy Loss Function)

最新发布

欢迎来到我的优快云个人博客主页！

07-28

1729

交叉熵损失函数是机器学习分类任务的核心工具，用于衡量预测概率分布与真实分布的差异。文章详细介绍了交叉熵的基本概念、两种主要形式（二元交叉熵和分类交叉熵），以及其在大型语言模型中的应用。通过最小化交叉熵损失，模型能够更准确地预测分类结果，其本质等价于最大化对数似然估计。交叉熵损失相比均方误差等函数能提供更强的梯度信号，有效加速模型收敛，是分类问题中的首选损失函数。

损失函数-交叉熵的推导和二分类交叉熵

无能狂怒博客

10-27

1898

损失函数-交叉熵和二分类交叉熵

损失函数基础——交叉熵函数二分类推导整理

weixin_43903820的博客

02-22

734

二分类推导 Logistics Regression 先从线性回归开始 hw(xi)=w0+w1x1+wx2+…+wnxnh _ { w } \left( x ^ { i } \right) = w _ { 0 } + w _ { 1 } x _ { 1 } + w x _ { 2 } + \ldots + w _ { n } x _ { n }hw(xi)=w0+w1x1+wx2+…+...

交叉熵和softmax函数和sigmoid函数（在二分类中的比较）

orangerfun的博客

03-02

7366

1. 求交叉熵的步骤 1.将标签进行one_hot编码 2.神经网络输出后接softmax层，即预测值取softmax输出来进行交叉熵计算 3.使用交叉熵公式计算： H(y(i),y^(i))=−∑j=1qyj(i)log⁡y^j(i) H\left( \boldsymbol{y}^{\left( i \right)},\boldsymbol{\hat{y}}^{\left( i \right)}...

二分类交叉熵损失函数python_Keras中的多分类损失函数用法categorical_crossentropy

weixin_39870132的博客

12-22

2620

from keras.utils.np_utils import to_categorical注意：当使用categorical_crossentropy损失函数时，你的标签应为多类模式，例如如果你有10个类别，每一个样本的标签应该是一个10维的向量，该向量在对应有值的索引位置为1其余为0。可以使用这个方法进行转换：from keras.utils.np_utils import to_categ...

深度学习中交叉熵函数的导数:(极简)

2302_76774649的博客

03-08

1619

另一个博主有更详细的推导。

为什么分类问题使用交叉熵损失函数？

YQMind的博客

04-17

4113

待整理… [1] http://www.cnblogs.com/aijianiula/p/9460842.html [2] https://blog.youkuaiyun.com/yangyang688/article/details/82667273

Sklearn中二分类问题的交叉熵计算

山阴少年

07-26

6300

二分类问题的交叉熵 自己实现的方法有问题？研究sklearn中的log_loss源代码自己实现二分类问题的交叉熵计算

分类问题损失函数 – 交叉熵

01-06

参考链接：https://zhuanlan.zhihu.com/p/61944055 信息熵：表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。熵越大，随机变量或系统的不确定性就越大。公式如下：相对熵：又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)从常用于描述样本的真实分布，而q(x)常用于表示预测的分布。KL散度值越小表示两个分布越接近。公式如下： 交叉熵(cross entropy)：将KL散度公式进行变形得到：前半部分就是p(x)的熵，后半部分就是交叉熵：机器学习中，我们常常使用KL散度来评估pr

pytorch_lesson10 二分类交叉熵损失函数及调用+多分类交叉熵损失函数及调用

weixin_51589123的博客

05-13

7884

注：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录一、机器学习中的优化思想二、回归：误差平方和SSE三、二分类交叉熵损失函数1 极大似然估计求解二分类交叉熵损失2 用tensor实现二分类交叉熵损失3 用PyTorch中的类实现二分类交叉熵损失四、多分类交叉熵损失函数 一、机器学习中的优化思想模型训练的目标：求解一组最适合的权重向量，令神经网络的输出结果与真实值尽量接近。关键概念：损失函数是可以衡量真实值与预测结果的差异，评价模.

二分类交叉熵以及加权交叉熵

Jerry的博客

04-02

1754

对于单个样本，二分类交叉熵损失的公式为：BCE=−[ylog⁡(p)+(1−y)log⁡(1−p)] \text{BCE} = - \left[ y \log(p) + (1 - y) \log(1 - p) \right] BCE=−[ylog(p)+(1−y)log(1−p)]在机器学习中，预测概率 ppp 通常通过 sigmoid 函数计算得出：p=σ(z)=11+e−z p = \sigma(z) = \frac{1}{1 + e^{-z}} p=σ(z)=1+e−z1我们的目标是计算损失函数 B

二分类交叉熵，多分类交叉熵，focal loss

热门推荐

zhuhuigege的博客

03-08

2万+

1：二分类交叉熵 a) 公式：，其中表示网络预测结果，是一个属于（0到1）的值，我们当然希望它们的值很接近1。是真实标签，因为是二分类，所以，的值为0或者1。网络最后一层一般为sigmoid。比如，网络最后一层sigmoid之后，网络输出为0.8，若= 1，代入公式则loss = -1*log(0.8)；若= 0，loss=(1-0)*log(1-0.8)。 b) pytorch中的形式： criterion1 =...

交叉熵损失函数分类_理解交叉熵损失函数

weixin_29323049的博客

01-05

2513

前言看了一些博客，什么BCE/CE/单标签多分类/多标签多分类。。。搞迷糊了。于是自己简单总结一下。首先首先我们可以先理解两种不同的任务目标：1、“是不是”的问题。比如LR的输出概率，即是不是的问题。2、“是哪个”的问题。比如多分类输出层标签的one-hot形式。结论：一些博客说CE只考虑了正向样本的损失而未考虑负类样本的损失（因为负类的标签是0），而BCE既考虑了正类样本的损失又考虑了负类样本的...

理解二分类交叉熵|可视化的方法解释对数损失

小白学视觉

05-28

2308

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达介绍如果你在训练一个二分类分类器，很有可能你在使用二值交叉熵，log损失，作为你的损失函数。你有没有想过，使用这个损失函数到底意味着什么？事实是，现在的各种库和框架非常的简单易用，导致大家很容易忽视所使用的损失函数的真正意义。动机我一直在找一个可以通过可视化到的方法清楚而简单的解释二元交叉熵...

多分类交叉熵函数计算过程(包含numpy和pytorch代码实现)

weixin_47289438的博客

08-26

3354

交叉熵损失函数的计算过程

二分类和多分类交叉熵函数区别详解

yangxiao的博客

12-28

5344

二分类和多分类交叉熵函数区别详解写在前面查了下百度，交叉熵，是度量两个分布间差异的概念。而在我们神经网络中，两个分布也就是y的真实值分布和预测值分布。当两个分布越接近时，其交叉熵值也就越小。根据上面知识，也就转化为我们需要解决让预测值和真实值尽可能接近的问题，而这正与概率论数理统计中的最大似然分布一脉相承，进而目标转化为确定值的分布和求解最大似然估计问题。 二分类问题表示分类任务中有两个类别，比如我们想判断一张图片是不是猫。也就是说，训练一个分类器，输入一张图片，用特征向量x表示，输出是不是猫用y=

稀疏分类交叉熵损失函数作原理图

05-13

### 稀疏分类交叉熵损失函数的原理稀疏分类交叉熵（Sparse Categorical Crossentropy）是一种用于多类分类问题的损失函数，尤其适用于目标类别是以整数形式表示的情况。它通过计算预测概率分布与真实标签之间的差异来衡量模型性能。具体来说，假设对于某个样本 $i$ 的真实标签为 $y_i$ （取值范围为 $[0, K-1]$，$K$ 表示总类别数），而模型对该样本的预测概率向量为 $\hat{y}_i = [\hat{p}_{i,0}, \hat{p}_{i,1}, ..., \hat{p}_{i,K-1}]$，则该样本对应的稀疏分类交叉熵定义如下： \[ L_{sparse}(y_i, \hat{y}_i) = -\log(\hat{p}_{i,y_i}) \] 这意味着仅考虑真实标签对应位置上的预测概率，并对其取负对数作为损失[^3]。相比于 `Categorical Crossentropy` 需要将真实标签转换成 one-hot 编码的形式输入，`Sparse Categorical Crossentropy` 可以直接接受整数值作为标签，从而节省内存开销并简化操作流程[^4]。 --- ### 原理图解释为了更好地理解稀疏分类交叉熵的工作机制，可以通过以下方式可视化其过程： #### 图解说明 1. **输入数据结构** - 模型输出：经过 softmax 层后的概率分布向量 $\hat{y}$。例如，对于三分类问题，可能有 $\hat{y} = [0.2, 0.7, 0.1]$。 - 真实标签：单个整数索引 $y$，指示正确类别的位置。例如，在上述例子中如果实际类别是第二类，则 $y=1$。 2. **选取特定项** 根据真实标签 $y$ 提取出预测概率向量中相应位置的概率值 $\hat{p}_{y}$。继续以上述实例为例，当 $y=1$ 时，提取出的是第二个分量即 $\hat{p}=0.7$。 3. **计算损失** 对选出的概率应用自然对数运算后再乘以负号完成最终求值步骤： \[ L=-\ln(0.7)\approx0.3567 \] 以下是基于 Python 和 Matplotlib 绘制的一个简单示意图形展示这一概念: ```python import numpy as np import matplotlib.pyplot as plt def sparse_categorical_crossentropy(y_true, y_pred): """ 计算稀疏分类交叉熵 """ p_y_given_x = y_pred[np.arange(len(y_true)), y_true] log_likelihood = -np.log(p_y_given_x.clip(min=1e-8)) return log_likelihood.mean() # 示例数据 y_true = np.array([1]) # 正确类别 (one hot 中的 index) y_pred = np.array([[0.2, 0.7, 0.1]]) # 软件最大层输出的概率分布 loss_value = sparse_categorical_crossentropy(y_true, y_pred) print(f"Sparse Categorical Cross Entropy Loss: {loss_value}") # 绘制图像 fig, ax = plt.subplots() ax.bar(range(len(y_pred[0])), y_pred[0], color='blue', alpha=0.7, label="Predicted Probabilities") ax.axhline(y=np.max(y_pred[0]), linestyle="--", color="red", linewidth=1, label=f"Correct Class Probability ({round(np.max(y_pred[0]), 2)})") ax.set_xticks(range(len(y_pred[0]))) ax.set_title("Sparse Categorical CrossEntropy Visualization") ax.legend(loc="upper right") plt.show() ``` 此脚本先定义了一个手动版本的稀疏分类交叉熵函数用来验证理论公式的准确性；接着创建了一组假想的数据集模拟实际情况下的预测结果及其相应的真值标注情况；最后利用图表工具形象化地表达了各个部分的关系以及重点突出所选中的那个条目相对于整体而言的重要性程度如何影响整个系统的评判标准——也就是所谓的“损失”。 --- ###