二分类交叉熵损失函数推导及其求导过程

最新推荐文章于 2025-04-02 22:17:02 发布
最新推荐文章于 2025-04-02 22:17:02 发布
阅读量2.9k 收藏 4
点赞数 1
分类专栏： 机器学习 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40247705/article/details/105178917
版权
本文探讨了在机器学习中如何通过最小化负的对数似然函数来优化参数，详细解析了使用sigmoid函数进行求导的过程，并给出了参数更新的具体方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

假设函数
在这里插入图片描述
更为一般的表达式：
在这里插入图片描述
似然函数：
在这里插入图片描述
对数似然函数：
如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数：
在这里插入图片描述
对J(w)求极小值，对求导
在这里插入图片描述
上述求导要用到 π(z)’ = π(z)(1-π(z)),其中π(z)为sigmoid函数（也叫logistic函数），z=w^Tx+b,我们将这些带入求导公式中运算即可得到结果。

上述中 xi,j表示第i个样本的第j个属性的取值。
于是的更新方式为：
在这里插入图片描述

二分类问题的sigmoid交叉熵损失函数推导
大风车
09-23 9652
本文章参考deeplearning 一书第六章6.2.2.2 Sigmoid Units for Bernoulli Output Distributions 要建立一个模型，不可或缺的有：1、数据，2、损失函数，3、模型算法，4、优化算法。 今天我们讨论下损失函数这块。损失函数的设计，与模型最后输出的内容是有一定关联的。 对于大部分的任务（回归 or 分类）,最大似然估计的应用比较常见。最大似然估计是点估计的一种。「最大化 log likelihood」 可以间接理解为 「最小化交叉熵」。（...
sigmoid、softmax函数/交叉熵损失函数/二分类、多分类详细推导过程
PuJiang-的博客
08-23 3199
交叉熵损失函数、MSE、二分类、多分类
损失函数基础——交叉熵函数二分类推导整理
weixin_43903820的博客
02-22 714
二分类推导 Logistics Regression 先从线性回归开始 hw(xi)=w0+w1x1+wx2+…+wnxnh _ { w } \left( x ^ { i } \right) = w _ { 0 } + w _ { 1 } x _ { 1 } + w x _ { 2 } + \ldots + w _ { n } x _ { n }hw​(xi)=w0​+w1​x1​+wx2​+…+...
二分类交叉熵以及加权交叉熵
最新发布
Jerry的博客
04-02 1386
对于单个样本，二分类交叉熵损失的公式为：BCE=−[ylog⁡(p)+(1−y)log⁡(1−p)] \text{BCE} = - \left[ y \log(p) + (1 - y) \log(1 - p) \right] BCE=−[ylog(p)+(1−y)log(1−p)]在机器学习中，预测概率 ppp 通常通过 sigmoid 函数计算得出：p=σ(z)=11+e−z p = \sigma(z) = \frac{1}{1 + e^{-z}} p=σ(z)=1+e−z1​我们的目标是计算损失函数 B
交叉熵损失(Cross Entropy)求导
zhangxu
10-03 1万+
Cross Entropy是分类问题中非常常见的一种损失函数，我们在之前的文章提到过二值交叉熵的证明和交叉熵的作用，下面解释一下交叉熵损失的求导。
二元交叉熵损失梯度推导
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
交叉熵损失函数及其导数
2401_86968005的博客
02-23 702
交叉熵损失函数（Cross-Entropy Loss）是分类问题中常用的损失函数，特别是在多类分类问题中。L−ylogy​1−ylog1−y​)]其中，y是真实标签（0或1），y​是模型预测的概率（介于0和1之间）。L−i1∑C​yi​logy​i​其中，( C ) 是类别的数量，( y_i ) 是第 ( i ) 类的真实标签（one-hot编码），( \hat{y}_i ) 是模型预测的第 ( i ) 类的概率。
交叉熵损失函数总结: 定义、应用及求导
生命在于折腾！
05-28 2716
交叉熵损失函数总结: 定义、应用及求导 先说熵(entropie)，熵最早出现在热力学中，用于度量一个热力学系统的无序程度。后来熵被引入到信息论里面，表示对不确定性的测量。 为了弄清楚交叉熵，首先需要弄清楚交叉熵相关的几个概念。 1.1 信息量 信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。也就是说不确定性越高，信息量越大。信息量的数学表达式如下，其中 ppp 为随机变量 XXX 的概率分布，即 p(x)p(x)p(x) 为随机变量 XXX 在 X=xX=xX=x 处的概率密度函数值。 I
第五十章 解读交叉熵损失函数的求导(sigmoid和softmax)
专注于人工智能学习，总结
12-22 1210
与平方损失函数相比较，由于学习速率可以被输出误差所控制的缘故，交叉熵能在梯度下降时避免均方误差损失函数学习速率降低的问题，有着更为出色的效果。除此之外，由于交叉熵的计算涉及到各个类别的概率，所以说起交叉熵几乎与sigmoid/softmax函数形影不离，这些我们都会在下文中一一印证。交叉熵，顾名思义，取的是两者交叉的熵值；而在机器学习中的所谓两者，自然是真实分布（或实际输出概率）与预测分布（或期望输出概率），通过熵值计算的方法来刻画两者距离，可以评估两个概率分布（或特征工程里的两个特征变量）的相似度。
简单易懂的softmax交叉熵损失函数求导
热门推荐
绝望的乐园
09-20 7万+
来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的步骤就是求导，从这个过程也可以更深刻地理解反向传播的过程，还可以对梯度传播的问题有更多的思考。 softmax 函数 softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可...
交叉熵（cross-entropy）损失函数求导过程推导
河山入梦来的博客
07-01 2万+
交叉熵（cross-entropy）损失函数求导过程推导1. 什么是交叉熵？1.1 熵1.2 KL散度1.3 交叉熵2. 关于softmax函数3. 推导过程3.1 关于softmax的求导3.2 关于cross-entropy的求导功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Smarty...
交叉熵损失函数及其求导过程推导
weixin_43461341的博客
03-27 774
转载地址：https://blog.youkuaiyun.com/jasonzzj/article/details/52017438?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task ex/(1+ex)=1/(1+e^-x)
交叉熵代价函数(损失函数)及其求导推导
qq_39396437的博客
04-15 475
交叉熵代价函数(损失函数)及其求导推导前言交叉熵损失函数交叉熵损失函数的求导前言说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。 首先，我们二话不说，先放出交叉熵的公式： J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),J(θ)=−1m∑i=1my(i)log⁡(hθ(x(i)))+(1−y(i))log...
交叉熵损失导数推理
zhaoguanhua的博客
04-14 6695
在深度学习网络训练中，交叉熵损失是一种经常使用的损失函数，这篇文章里我们来推导一下交叉熵损失关于网络输出z的导数，由于二分类是多分类的特殊情况，我们直接介绍多分类的推导过程。 一、Softmax交叉熵损失求导 基于softmax的多分类交叉熵公式为 LSCE=−∑j=1Cyjlog⁡(pj)L_{S C E}=-\sum_{j=1}^{C} y_{j} \log \left(p_{j}\right)LSCE​=−j=1∑C​yj​log(pj​) 其中CCC表示类别总数，包含背景类别，pjp_jpj​通过S
交叉熵损失函数求导
weixin_43507046的博客
04-20 1007
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用M...
交叉熵损失函数公式_交叉熵损失函数对其参数求导
weixin_39996035的博客
12-08 1286
1、Sigmoid 二分类交叉熵交叉熵公式：其中y是laebl：0 或1。 hθ(xi)是经过sigmoid得到的预测概率。θ为网络的参数, m为样本数。hθ（）函数如下所示，J（θ） 对参数θ的偏导数如下：求导过程：转自：https://blog.youkuaiyun.com/jasonzzj/article/details/52017438​blog.youkuaiyun.com2、Softmax 多分类交叉熵2.1...
交叉熵损失函数求导与Softmax函数求导
十一月廿七风雨大作
01-27 6382
前情提要。
交叉熵损失函数的推导
oldlybaby的博客
08-22 2579
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、交叉熵是什么？二、解决sigmoid激活函数的问题1.sigmoid损失函数存在的问题2.交叉熵的引入2.读入数据总结 前言 最近在学习自然语言处理，其中大量模型涉及到了用softmax层作为输出，再用交叉熵（cross-entropy loss）作为损失函数。 在此回忆一下交叉熵损失函数，并从3个方面： 为了解决sigmoid激活函数的问题 从极大似然估计推导 从信息论推导 推导其由来。 提示：以下是本篇文章正文内
softmax交叉熵损失函数求导
qq_33871546的博客
06-15 379
softmax 函数 softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。 softmax函数的公式是这种形式： 则对于损失函数 计算成本的梯度 ...
交叉熵损失函数求导结果
03-18
<think>好的，我现在需要解决用户关于交叉熵损失函数求导的问题。首先，我得回忆一下交叉熵损失函数的定义以及它在不同激活函数下的应用，比如sigmoid和softmax。根据用户提供的引用，特别是引用[1]、[2]、[3]、[4]，用户可能希望了解两种情况下的求导过程。 首先，交叉熵损失函数通常与softmax激活函数结合使用，比如在多分类问题中。这种情况下，损失函数的形式是$C = -\sum_i y_i \ln a_i$，其中$a_i$是softmax的输出，而$y_i$是真实的标签。此时，我需要推导损失函数对模型输出的梯度，也就是$\frac{\partial C}{\partial z_j}$，其中$z_j$是未经过激活函数的原始输出。 接下来，用户可能还想了解二分类情况下的交叉熵损失函数，通常与sigmoid激活函数结合使用。这种情况下，损失函数是$L = -[y \log(p) + (1 - y) \log(1 - p)]$，其中$p = \sigma(z)$是sigmoid函数的输出。此时需要求导的是$\frac{\partial L}{\partial z}$。 在推导过程中，我需要确保每一步的数学步骤正确，特别是应用链式法则时的细节。比如，在softmax情况下，需要处理softmax函数的导数，这涉及到当i=j和i≠j时的不同情况，这会影响到最终的梯度结果。而在sigmoid情况下，则可以利用sigmoid函数的导数特性$\sigma'(z) = \sigma(z)(1 - \sigma(z))$来简化计算。 用户可能存在的疑问点包括：为什么在softmax的推导中，结果会是$a_j - y_j$？以及为什么在sigmoid的情况下，导数结果为$p - y$？我需要详细解释这些步骤，确保推导过程清晰，没有跳跃，让读者能够一步步跟随。 另外，需要注意数学公式的正确排版，使用$$...$$格式来显示独立公式，行内公式则使用$...$。例如，交叉熵损失函数的表达式应该用正确的LaTeX语法呈现，如$C = -\sum_{i} y_i \ln a_i$，并且独立公式要单独成段。 同时，用户提供的引用中有多个来源提到交叉熵损失函数的求导较为简单，这可能是因为最终的导数结果形式简洁，便于计算梯度下降。需要强调这一点，说明为什么交叉熵损失函数在训练神经网络时更高效，比如避免了传统均方误差可能带来的学习速度下降问题。 最后，生成的相关问题应该覆盖用户可能进一步想了解的内容，比如与其他损失函数的对比、在深度学习中的应用、梯度消失问题以及反向传播中的具体应用。这些问题需要具体且有针对性，帮助用户扩展知识。 现在，我需要组织这些内容，确保结构清晰，分步骤解释两种情况的求导过程，并在适当的位置引用提供的资料，例如在提到sigmoid的情况时引用[4]，在softmax的情况时引用[2]和[3]。同时，保持语言的中文，并检查LaTeX语法是否正确。</think>### 交叉熵损失函数的求导过程及结果 交叉熵损失函数常用于分类任务，其求导结果简洁高效，可加速反向传播。根据激活函数类型（如sigmoid或softmax），推导过程略有不同。以下是两种典型情况的推导： --- #### **一、Softmax激活 + 交叉熵损失（多分类）** **公式定义** 假设输出层通过softmax激活函数得到概率分布： $$a_j = \frac{e^{z_j}}{\sum_{k} e^{z_k}}$$ 交叉熵损失函数为： $$C = -\sum_{i} y_i \ln a_i$$ 其中$y_i$是真实标签（one-hot编码），$a_i$是预测概率。 **求导目标** 计算$\frac{\partial C}{\partial z_j}$（损失对未激活输出$z_j$的梯度）。 **推导步骤** 1. **链式法则分解**：$\frac{\partial C}{\partial z_j} = \sum_{k} \frac{\partial C}{\partial a_k} \cdot \frac{\partial a_k}{\partial z_j}$ 2. **计算$\frac{\partial C}{\partial a_k}$**： $$\frac{\partial C}{\partial a_k} = -\frac{y_k}{a_k}$$ 3. **计算$\frac{\partial a_k}{\partial z_j}$**： - 当$k = j$时： $$\frac{\partial a_j}{\partial z_j} = a_j(1 - a_j)$$ - 当$k \neq j$时： $$\frac{\partial a_k}{\partial z_j} = -a_k a_j$$ 4. **合并结果**： $$\frac{\partial C}{\partial z_j} = -\sum_{k} \frac{y_k}{a_k} \cdot \frac{\partial a_k}{\partial z_j}$$ 展开后仅保留有效项（因$y_k$仅在真实类别为1）： $$\frac{\partial C}{\partial z_j} = a_j - y_j$$ **最终结论** 梯度为预测概率与真实标签的差值： $$\frac{\partial C}{\partial z_j} = a_j - y_j$$ 这一简洁形式极大优化了反向传播效率[^3][^2]。 --- #### **二、Sigmoid激活 + 交叉熵损失（二分类）** **公式定义** 设二分类输出概率为： $$p = \sigma(z) = \frac{1}{1 + e^{-z}}$$ 交叉熵损失函数为： $$L = -\left[ y \ln p + (1 - y) \ln(1 - p) \right]$$ **求导目标** 计算$\frac{\partial L}{\partial z}$（损失对原始输出$z$的梯度）。 **推导步骤** 1. **计算$\frac{\partial L}{\partial p}$**： $$\frac{\partial L}{\partial p} = -\left( \frac{y}{p} - \frac{1 - y}{1 - p} \right)$$ 2. **计算$\frac{\partial p}{\partial z}$**： $$\frac{\partial p}{\partial z} = p(1 - p) \quad \text{（sigmoid导数性质）}$$ 3. **链式法则合并**： $$\frac{\partial L}{\partial z} = \frac{\partial L}{\partial p} \cdot \frac{\partial p}{\partial z} = -\left( \frac{y}{p} - \frac{1 - y}{1 - p} \right) \cdot p(1 - p)$$ 4. **化简结果**： $$\frac{\partial L}{\partial z} = p - y$$ **最终结论** 梯度同样为预测值与真实值的差值： $$\frac{\partial L}{\partial z} = p - y$$ 这一结果与多分类情况一致，简化了计算[^4]。 --- ### 关键结论 - **统一性**：无论sigmoid还是softmax，交叉熵损失的梯度均为预测值与真实值的差值，形式简洁。 - **高效性**：梯度直接依赖输出概率，避免了传统均方误差的复杂计算和学习速度问题[^1][^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值