交叉熵损失函数的导数推导

最新推荐文章于 2025-02-23 19:49:09 发布
最新推荐文章于 2025-02-23 19:49:09 发布
阅读量405 收藏
点赞数
文章标签： 机器学习-深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/VnReact/article/details/133264480
版权
本文详细推导了交叉熵损失函数在深度学习中的导数，适用于多分类问题。导数公式为y_i/p_i，有助于理解模型参数的优化过程。并提供Python代码示例进行验证。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

交叉熵损失函数是深度学习中常用的一种损失函数，尤其在分类问题中被广泛应用。在本文中，我们将推导交叉熵损失函数的导数，并提供相应的源代码实例。

交叉熵损失函数用于衡量模型预测值与真实标签之间的差异。假设我们有一个分类问题，有C个类别，每个样本的真实标签表示为one-hot编码的形式。假设模型的输出为预测概率分布，表示为一个C维的向量。交叉熵损失函数可以定义为：

L = -∑(y_i * log(p_i))

其中，y_i表示真实标签中第i个类别的值（0或1），p_i表示模型的预测概率分布中第i个类别的概率。

为了推导交叉熵损失函数的导数，我们需要计算L对于每个预测概率p_i的偏导数。由于损失函数中存在log运算，我们可以使用链式法则来计算导数。具体来说，我们需要计算dL/dp_i。

首先，我们将交叉熵损失函数展开：

L = -∑(y_i * log(p_i))
= -∑(y_i * (log(e)/log(p_i)))
= -∑(y_i * (log(e) - log(p_i)))
= -∑(y_i * log(e)) + ∑(y_i * log(p_i))
= -log(e) * ∑(y_i) + ∑(y_i * log(p_i))
= -log(e) * 1 + ∑(y_i * log(p_i))


了解本专栏 订阅专栏 解锁全文
交叉熵损失函数原理详解
人工智能
04-29 2415
在学习pytorch的神经网络模型里，经常用到交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数
softmax-交叉熵损失函数的求导计算推导
pq4362050的博客
02-22 1169
目前大部分多分类任务对最后一层的输出做softmax，然后使用交叉熵作为损失函数，再对loss求导反向传播来更新w，经过多轮训练得到训练好的w，这就是模型。 我相信许多刚入门的machine learninger只是知道该这么用，但是不明白为什么这样就可以更新w了，下面推导最后一层的导数 最后一层的第i个输出是 其对应的softmax处理是 输入公式太麻烦了 还是手写的吧 ...
简单易懂的softmax交叉熵损失函数求导
绝望的乐园
09-20 7万+
来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的步骤就是求导，从这个过程也可以更深刻地理解反向传播的过程，还可以对梯度传播的问题有更多的思考。 softmax 函数 softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可...
交叉熵代价函数
热门推荐
wepon的专栏
03-13 15万+
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+
交叉熵损失导数推理
zhaoguanhua的博客
04-14 6718
在深度学习网络训练中，交叉熵损失是一种经常使用的损失函数，这篇文章里我们来推导一下交叉熵损失关于网络输出z的导数，由于二分类是多分类的特殊情况，我们直接介绍多分类的推导过程。 一、Softmax交叉熵损失求导 基于softmax的多分类交叉熵公式为 LSCE=−∑j=1Cyjlog⁡(pj)L_{S C E}=-\sum_{j=1}^{C} y_{j} \log \left(p_{j}\right)LSCE​=−j=1∑C​yj​log(pj​) 其中CCC表示类别总数，包含背景类别，pjp_jpj​通过S
交叉熵代价函数(损失函数)及其求导推导 (Logistic Regression)
jasonzzj的博客
07-25 11万+
前言 交叉熵损失函数 交叉熵损失函数的求导 前言 说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。 首先，我们二话不说，先放出交叉熵的公式： J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),J(θ)=−1m∑i=1my(i)log⁡(hθ(x(i)))+(1−y(i))log⁡(1−hθ(...
交叉熵损失函数及其导数
最新发布
2401_86968005的博客
02-23 722
交叉熵损失函数（Cross-Entropy Loss）是分类问题中常用的损失函数，特别是在多类分类问题中。L−ylogy​1−ylog1−y​)]其中，y是真实标签（0或1），y​是模型预测的概率（介于0和1之间）。L−i1∑C​yi​logy​i​其中，( C ) 是类别的数量，( y_i ) 是第 ( i ) 类的真实标签（one-hot编码），( \hat{y}_i ) 是模型预测的第 ( i ) 类的概率。
交叉熵损失函数总结: 定义、应用及求导
生命在于折腾！
05-28 2730
交叉熵损失函数总结: 定义、应用及求导 先说熵(entropie)，熵最早出现在热力学中，用于度量一个热力学系统的无序程度。后来熵被引入到信息论里面，表示对不确定性的测量。 为了弄清楚交叉熵，首先需要弄清楚交叉熵相关的几个概念。 1.1 信息量 信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。也就是说不确定性越高，信息量越大。信息量的数学表达式如下，其中 ppp 为随机变量 XXX 的概率分布，即 p(x)p(x)p(x) 为随机变量 XXX 在 X=xX=xX=x 处的概率密度函数值。 I
交叉熵损失(Cross Entropy)求导
zhangxu
10-03 1万+
Cross Entropy是分类问题中非常常见的一种损失函数，我们在之前的文章提到过二值交叉熵的证明和交叉熵的作用，下面解释一下交叉熵损失的求导。
交叉熵（cross-entropy）损失函数求导过程推导
河山入梦来的博客
07-01 2万+
交叉熵（cross-entropy）损失函数求导过程推导1. 什么是交叉熵？1.1 熵1.2 KL散度1.3 交叉熵2. 关于softmax函数3. 推导过程3.1 关于softmax的求导3.2 关于cross-entropy的求导功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Smarty...
交叉熵代价函数(损失函数)及其求导推导
xiaocong1990的博客
09-06 4316
链接：https://blog.youkuaiyun.com/jasonzzj/article/details/52017438   前言 说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。  首先，我们二话不说，先放出交叉熵的公式：  J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),J(θ)=−1m∑i=1m...
交叉熵损失函数求导
weixin_43507046的博客
04-20 1010
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用M...
交叉熵代价函数定义及其求导推导（读书笔记）
HuangQinJian
11-24 4166
交叉熵代价函数
Softmax 以及 交叉熵损失函数 的求导
abeldeng的专栏
01-19 5724
Ouput layer & 代价函数网络结构Output later 有K个神经元，有K个输入和输出。为了分别标记输入和输出，用ai∈[1,K]a_{i\in[1,K]}来表示Output layer的输入数据，yj∈[1,K]y_{j\in[1,K]}来表示Output layer输出点数据。每个输入数据ai∈[1,K]a_{i\in[1,K]}和隐藏层的H个块之间是全连接的。 输入和输出数据
交叉熵损失函数求导与Softmax函数求导
十一月廿七风雨大作
01-27 6692
前情提要。
深度学习中交叉熵函数的导数:(极简)
2302_76774649的博客
03-08 1561
另一个博主有更详细的推导。
Softmax函数下的交叉熵损失含义与求导
Coldlebron的博客
10-20 3548
自信息、熵、交叉熵、相对熵的简介。Softmax函数与交叉熵损失函数及其求导。
深度学习中交叉熵损失函数详解
恩泽君的博客
04-05 4108
深度学习中交叉熵损失函数背景，公式推导详解 首先，我们来看下交叉熵损失函数的表达式： 其中上面那个方程式是用于计算最后一层激活函数为softmax函数的交叉熵损失函数，下面这个是用于计算最后一层激活函数为sigmoid函数的交叉熵损失函数。 下面我将从为什么使用交叉熵函数、交叉熵函数数学推导、为什么对于sigmoid和softmax两个函数的交叉熵损失函数有差别这三个方面来讲解： 一、为什么使用...
交叉熵损失的导数是什么
01-09
### 交叉熵损失函数及其导数公式的数学推导 在深度学习中，当采用sigmoid作为激活函数时，在|Z|较大情况下其导数值较小，导致模型容易进入饱和区，从而减缓了学习速度[^1]。为了克服这一问题并简化梯度计算过程，引入了交叉熵损失函数。 对于二分类问题中的单个样本而言，假设预测概率为 \( a \)，真实标签为 \( y \in {0, 1} \)，那么对应的交叉熵损失函数定义如下： \[ L(a,y) = -y\log(a)-(1-y)\log(1-a) \] 接着考虑权重参数 \( w \) 对于该损失的影响程度，即求解关于 \( w \) 的偏导数。由于输出层的线性组合形式通常写作 \( z=w^Tx+b \)，而经过Sigmoid变换后的结果记作 \( a=\sigma(z) \)，因此有: \[ \frac{\partial L}{\partial w_j}=-(y/a+(1-y)/(1-a))\cdot\frac{\partial a}{\partial z}\cdot x_j=-(y/(a)+(1-y)/(1-a))\cdot a(1-a)x_j=(a-y)x_j \] 这里利用到了 Sigmoid 函数自身的性质：\( \sigma'(z)=\sigma(z)(1-\sigma(z)) \)。最终得出的结果正是所希望的形式——去除了激活函数导数部分的影响，仅保留了误差项与输入特征之间的简单乘法关系。 ```python import numpy as np def sigmoid(z): return 1 / (1 + np.exp(-z)) def cross_entropy_derivative(a, y, x): """ 计算交叉熵损失相对于权值w的导数 参数: a : float or array-like of shape (n_samples,) 预测的概率值 y : int or array-like of shape (n_samples,) 实际类别标签（取值范围应为{0, 1}) x : array-like of shape (n_features,) 或者 (n_samples, n_features) 输入数据 返回: dL_dw : ndarray of same shape as `x` 权重更新方向向量 """ error_term = a - y if isinstance(error_term, (int, float)): return error_term * x elif len(x.shape)==1 and len(y.shape)==1: # 单一样本情况下的处理 return error_term.reshape((-1, 1)).dot(x.reshape((1,-1))).flatten() else: # 批次训练的情况 return np.dot(error_term.T, x).T ``` 通过上述分析可以看出，使用交叉熵损失不仅能够有效缓解因激活函数带来的梯度消失现象，而且还能让反向传播过程中涉及的微分运算更加简洁高效。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值