二分类问题的交叉熵函数和多分类问题的交叉熵函数

最新推荐文章于 2025-07-28 16:46:49 发布

原创

最新推荐文章于 2025-07-28 16:46:49 发布 · 1.9w 阅读

23 ·

CC 4.0 BY-SA版权

二分类问题的交叉熵损失函数;

在二分类问题中，损失函数为交叉熵损失函数。对于样本（x,y）来讲，x为样本 y为对应的标签。在二分类问题中，其取值的集合可能为{0，1}，我们假设某个样本的真实标签为yt，该样本的yt=1的概率为yp，则该样本的损失函数为：

$log(yt|yp) = - (yt*log(yp) + (1 - yt)log(1 - yp))$

如果对于整个数据集上的模型而言：其损失函数就是所有样本的点的损失函数的平均值。

多分类的问题的函数交叉熵损失函数：

在多分类问题中，损失函数也是交叉熵损失函数，对于样本（x,y）来讲，y是真实的标签，预测标签为所有标签的集合，我们假设有k个标签值，第i个样本预测为第K个标签的概率为pi,k，一共有N个样本，则总的数据集损失函数为：

最低0.47元/天解锁文章

新学期VIP享超值加赠

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fendon@l

关注关注

2
点赞
踩
23

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

交叉熵损失函数：用于多分类问题的Softmax分类器

TechPr的博客

09-08

1213

在本篇文章中，我们将详细介绍交叉熵损失函数的原理和使用方法，并提供针对MNIST数据集的实例源代码（Python）。Softmax分类器通过对模型输出应用Softmax函数，将输出转化为概率分布，然后使用交叉熵损失函数来优化模型。Softmax函数将原始输出向量中的每个元素映射为一个介于0和1之间的实数，且所有元素之和为1，即得到一个概率分布。其中，x_i表示模型的原始输出向量中的第i个元素，exp表示指数函数，Σ表示对所有元素的求和操作。最后，我们生成了随机的实际标签和模型预测概率，并计算了交叉熵损失。

交叉熵函数

weixin_42924890的博客

01-21

3207

交叉熵损失函数的定义和计算公式。torch中交叉熵损失函数的用法和公式理解。自己实现代码熟悉交叉熵函数计算的过程。

3 条评论您还未登录，请先登录后发表或查看评论

交叉熵损失函数基本概念及公式

qlkaicx的博客

02-12

9726

对于二分类问题，模型的输出通常是一个标量，表示样本属于正类的概率。因此，在二分类的交叉熵损失函数中，我们只需要考虑一个概率值，即模型预测为正类的概率。具体来说，当真实标签为1时，我们关注模型预测为正类的概率；当真实标签为0时，我们关注模型预测为负类的概率。因此，二分类的交叉熵损失函数可以表示为：其中，y 表示真实标签，取值为 0 或 1；p 表示模型预测为正类的概率。而对于多分类问题，模型的输出通常是一个向量，表示样本属于各个类别的概率。因此，在多分类的交叉熵损失函数中，我们需要考虑所有类别的概率。

sigmoid、softmax函数/交叉熵损失函数/二分类、多分类详细推导过程

PuJiang-的博客

08-23

3255

交叉熵损失函数、MSE、二分类、多分类

【深度学习】深入理解交叉熵损失函数 (Cross-Entropy Loss Function)

最新发布

欢迎来到我的优快云个人博客主页！

07-28

1721

交叉熵损失函数是机器学习分类任务的核心工具，用于衡量预测概率分布与真实分布的差异。文章详细介绍了交叉熵的基本概念、两种主要形式（二元交叉熵和分类交叉熵），以及其在大型语言模型中的应用。通过最小化交叉熵损失，模型能够更准确地预测分类结果，其本质等价于最大化对数似然估计。交叉熵损失相比均方误差等函数能提供更强的梯度信号，有效加速模型收敛，是分类问题中的首选损失函数。

二分类交叉熵与多分类交叉熵详解及实例计算

weixin_51524504的博客

08-19

5308

二分类交叉熵（Binary Cross Entropy, BCE）通常用于只有两个类别的分类问题。它的目的是最小化模型预测概率与实际标签之间的差异。多分类交叉熵（Categorical Cross Entropy, CE）适用于三个或更多类别的分类任务。它的目标也是最小化模型预测概率与实际标签之间的差异。

损失函数-交叉熵的推导和二分类交叉熵

无能狂怒博客

10-27

1898

损失函数-交叉熵和二分类交叉熵

二分类交叉熵损失函数python_Keras中的多分类损失函数用法categorical_crossentropy

weixin_39870132的博客

12-22

2620

from keras.utils.np_utils import to_categorical注意：当使用categorical_crossentropy损失函数时，你的标签应为多类模式，例如如果你有10个类别，每一个样本的标签应该是一个10维的向量，该向量在对应有值的索引位置为1其余为0。可以使用这个方法进行转换：from keras.utils.np_utils import to_categ...

深度学习中交叉熵函数的导数:(极简)

2302_76774649的博客

03-08

1618

另一个博主有更详细的推导。

为什么分类问题使用交叉熵损失函数？

YQMind的博客

04-17

4113

待整理… [1] http://www.cnblogs.com/aijianiula/p/9460842.html [2] https://blog.youkuaiyun.com/yangyang688/article/details/82667273

损失函数基础——交叉熵函数二分类推导整理

weixin_43903820的博客

02-22

734

二分类推导 Logistics Regression 先从线性回归开始 hw(xi)=w0+w1x1+wx2+…+wnxnh _ { w } \left( x ^ { i } \right) = w _ { 0 } + w _ { 1 } x _ { 1 } + w x _ { 2 } + \ldots + w _ { n } x _ { n }hw(xi)=w0+w1x1+wx2+…+...

分类问题损失函数 – 交叉熵

01-06

参考链接：https://zhuanlan.zhihu.com/p/61944055 信息熵：表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。熵越大，随机变量或系统的不确定性就越大。公式如下：相对熵：又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)从常用于描述样本的真实分布，而q(x)常用于表示预测的分布。KL散度值越小表示两个分布越接近。公式如下： 交叉熵(cross entropy)：将KL散度公式进行变形得到：前半部分就是p(x)的熵，后半部分就是交叉熵：机器学习中，我们常常使用KL散度来评估pr

交叉熵和softmax函数和sigmoid函数（在二分类中的比较）

orangerfun的博客

03-02

7365

1. 求交叉熵的步骤 1.将标签进行one_hot编码 2.神经网络输出后接softmax层，即预测值取softmax输出来进行交叉熵计算 3.使用交叉熵公式计算： H(y(i),y^(i))=−∑j=1qyj(i)log⁡y^j(i) H\left( \boldsymbol{y}^{\left( i \right)},\boldsymbol{\hat{y}}^{\left( i \right)}...

Sklearn中二分类问题的交叉熵计算

山阴少年

07-26

6299

二分类问题的交叉熵 自己实现的方法有问题？研究sklearn中的log_loss源代码自己实现二分类问题的交叉熵计算

pytorch_lesson10 二分类交叉熵损失函数及调用+多分类交叉熵损失函数及调用

weixin_51589123的博客

05-13

7884

注：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！文章目录一、机器学习中的优化思想二、回归：误差平方和SSE三、二分类交叉熵损失函数1 极大似然估计求解二分类交叉熵损失2 用tensor实现二分类交叉熵损失3 用PyTorch中的类实现二分类交叉熵损失四、多分类交叉熵损失函数 一、机器学习中的优化思想模型训练的目标：求解一组最适合的权重向量，令神经网络的输出结果与真实值尽量接近。关键概念：损失函数是可以衡量真实值与预测结果的差异，评价模.

二分类交叉熵以及加权交叉熵

Jerry的博客

04-02

1753

对于单个样本，二分类交叉熵损失的公式为：BCE=−[ylog⁡(p)+(1−y)log⁡(1−p)] \text{BCE} = - \left[ y \log(p) + (1 - y) \log(1 - p) \right] BCE=−[ylog(p)+(1−y)log(1−p)]在机器学习中，预测概率 ppp 通常通过 sigmoid 函数计算得出：p=σ(z)=11+e−z p = \sigma(z) = \frac{1}{1 + e^{-z}} p=σ(z)=1+e−z1我们的目标是计算损失函数 B

二分类交叉熵，多分类交叉熵，focal loss