深度学习中，逻辑回归(交叉熵)，softmax损失函数的推导，以及sigmoid, relu, tanh, softmax函数的用处

最新推荐文章于 2025-07-13 09:18:14 发布
原创 最新推荐文章于 2025-07-13 09:18:14 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #逻辑回归损失函数 #softmax

本文介绍了sigmoid, relu, tanh, softmax函数在深度学习中的应用，重点讲解了逻辑回归的交叉熵损失函数和softmax损失函数的推导过程，分别针对二分类和多分类问题进行了详细阐述。" 134958348,10163228,Oracle数据泵并行与压缩优化实战,"['Oracle', '数据库', '数据导出', '并行处理', '数据压缩']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

sigmoid, relu, tanh, softmax函数的用处

其中作为激励函数的有:

(1) g(z) = sigmoid(z) = \frac{1}{1+e^{-z}}  

(2) g(z) = relu(z) = max(0, x)

(3) g(z) = tanh(z) = \frac{e^{z}-e^{-z}}{e^{z}+e^{-z}}

以上激励函数作用为构造非线性模型，如:z = W^Tx + b是一个线性模型，当引入a = g(z)时，就构造出了非线性模型，用来拟合实际中的实际问题。

作为分类：

(1)sigmoid函数：用于2分类与多分类问题。

(2)softmax函数：用于多分类问题

逻辑回归(交叉熵)损失函数的推导（以二分类举例）

LOSS = ∑-y_i * log(y_hat_i) - (1 - y_i) * log(1 - y_hat_i), 其中y_hat_i = g(z_i) = sigmoid(z_i) 值介于0,1之间

对于样本x_i, 二分模型判定其为1的概率为p1_i = y_hat_i     (注：p1_i指的是第i个样本预测判定其为1的概率)

对于样本x_i, 二分模型判定其为1的概率为p0_i = 1 - y_hat_i     (注：p0_i指的是第i个

最低0.47元/天 解锁文章

200万优质内容无限畅学
ReLU,Sigmoid,Tanh,softmax,pipeline【基础知识总结】
zik的博客
11-27 3898
一、ReLU（Rectified Linear Activation Function） 1、优点 2、缺点 3、补充 1.Leaky ReLUs 2.参数化修正线性单元（PReLU） 3.随机纠正线性单元（RReLU） 二、Sigmoid 1、优点 2、缺点 三、Tanh（hyperbolic tangent） 四、Sigmoid 和 Tanh 激活函数的局限性 五、softmax（归一化指数函数） 1、将预测结果转化为非负数 2、各种预测结果概率之和等于1 3、例子 六、pipeline
关于交叉熵和sigmoid函数的组合
SparkSnail
08-31 5392
在神经网络的训练中，当使用的激活函数为sigmoid函数时，选择的代价函数一般为交叉熵，而不是二次代价函数。 原因如下： 二次代价函数公式： 其中c代表代价函数，x代表样本，y代表实际值，a代表输出值，n为样本总数。 对w和b求偏导数： 根据偏导数的结果，w和b的梯度跟激活函数的梯度成正比，激活函数的梯度越大，w和b的大小调整得越快，训练收敛得就越快。 sigmoid函数的图
Softmax回归交叉熵损失函数求导
weixin_42717395的博客
12-04 399
softmax函数的表达式：ai=ezi∑kezka_{i}=\frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}ai​=∑k​ezk​ezi​​ 交叉熵 损失函数：C=−∑iyiln⁡aiC=-\sum_{i} y_{i} \ln a_{i}C=−∑i​yi​lnai​ 根据复合函数求导法则：∂C∂zi=∑j(∂Cj∂aj∂aj∂zi)\frac{\partial C}{\p...
逻辑回归二分类与softmax多分类方法实现
Air_x的博客
05-22 2047
一般来说，回归不使用与分类问题中，因为回归是连续型模型，而且数据噪音会影响模型结果，因此，可以使用一些函数对回归结果进行归类，达到分类的结果
softmax回归
最新发布
weixin_45971154的博客
07-13 414
Softmax回归（也称为多类逻辑回归）是一种用于多分类问题的监督学习算法。它是逻辑回归的扩展，适用于类别数大于二的情况。Softmax回归通过将输入特征映射到每个类别的概率分布，最终选择概率最高的类别作为预测结果。
机器学习4. 交叉熵损失函数与softmax回归的反向传播推导
xd_ljq的博客
04-15 850
在多分类问题中，一般选取softmax作为分类器，交叉熵作为损失函数。他们的形式都很简单，但是在BP的时候还是有些复杂，现在总结如下： 交叉熵损失函数 (1)C(a,y)=−∑iyilnaiC(a,y)=-\sum_i{y_i ln a_i} \tag{1}C(a,y)=−i∑​yi​lnai​(1) softmax逻辑回归 第iii个输出值aia_iai​为： (2)ai=ezi∑kezka_i...
关于交叉熵下softmax和sigmoid的求导
Jerry_Lu_ruc的博客
08-13 2245
原创不易，转载请注明出处 ^ _ ^ 1、 交叉熵 + sigmoid 反向传播 sigmoid函数： 这里xxx表示神经网络最后一层输出的一个神经元的激活值 σ(x)=11+exp(−x)\sigma(x) = \frac{1}{1+exp(-x)}σ(x)=1+exp(−x)1​ sigmoid函数对xxx求导： ∂σ(x)∂x=σ(x)(1−σ(x))\frac{\partial{\sigma(x)}}{\partial{x}} = \sigma(x)(1-\sigma(x))∂x∂σ(x)​=σ(
softmax回归与交叉熵损失crossentropy的详细推导
weixin_45104951的博客
03-17 1146
（1）softmax 对于一个多分类问题，经过隐藏层的计算（式1），输出是对应类别的得分。 （1） 式中，oi代表对应第i个类别的得分，x代表输入，wi与bi为网络权重与偏置参数，均为学习的参数。假设要解决一个花的四分类问题，四个类别分别为郁金香、玫瑰、向日葵、小雏菊。 当输入类别为向日葵时，可计算此时的输入对应四个类别的分别的得分o1、o2、o3、o4。假设由公式（1）计算得分如下表1： o1（郁金香） o2（玫瑰） o3（向日葵） ...
深度学习中几种常见函数介绍（SoftMax,ReLU,Sigmoid,Tanh）
鬼马行天的博客
04-23 999
Softmax函数将任意实数值的向量转换为相同维度的实数值向量，其中每个元素的值处于(0,1)区间内，并且所有元素的和为1。因此，Softmax输出可以被解释为一个概率分布。这些函数各有特点，选择哪种函数通常取决于具体问题的需求、网络架构和所需的数学特性。ReLU及其变体因其简单高效而广泛使用于各种网络的隐藏层，而Softmax、Sigmoid和Tanh则更多地用于输出层，以便于输出解释和概率估计。
AI 内容分享(十八)：秒懂AI-深度学习四种常用激活函数：Sigmoid、Tanh、ReLU和Softmax
之乎者也·的博客
01-20 4769
Softmax是一种常用的激活函数，主要用于多分类问题中，可以将输入的神经元转化为概率分布。ReLU的输出范围是[0, +∞)，而输入值为负数时输出为0，这导致ReLU输出的分布不对称，限制了生成的多样性。Leaky ReLU在输入小于或等于0时，输出一个较小的斜率，避免了完全的“死亡神经元”问题。当输入值小于或等于0时，ReLU的输出为0，导致该神经元失效，这种现象称为“死亡神经元”。与Leaky ReLU不同的是，PReLU的斜率不是固定的，而是可以根据数据进行学习优化。
激活函数ReLU,Sigmoid,tanh,softmax性质讲解及使用matplotlib绘制
bbaaa123的博客
10-02 909
激活函数ReLU,Sigmoid,tanh,softmax性质讲解及使用matplotlib绘制
为什么使用交叉熵代替二次代价函数_从最优化的角度看待Softmax损失函数
weixin_39900608的博客
11-19 459
作者按：最近博士毕业论文写完了，这段时间比较闲，准备把我博士毕业论文里比较有意思的一些章节拿出来写成博客，有空就写点，不定期更新。Softmax交叉熵损失函数应该是目前最常用的分类损失函数了，在大部分文章中，Softmax交叉熵损失函数都是从概率角度来解释的（请读者自行搜索），本文将尝试从最优化的角度来推导出Softmax交叉熵损失函数，希望能够启发出更多的研究思路。一般而言，最优化的问题通常需要...
ML-逻辑回归-Softmax-交叉熵（小航）
小航哥的博客
02-27 580
在分类问题中， 交叉熵的本质就是【对数】似然函数的最大化 逻辑回归的损失函数的本质就是【对数】似然函数的最大化 最大似然估计讲解：https://www.jianshu.com/p/191c029ad369 参考统计学习方法笔记 P79 softmax 通过Softmax回归，将logistic的预测二分类的概率的问题推广到了n分类的概率的问题。通过公式 softmax...
softmax layer_Softmax与交叉熵损失的实现及求导
weixin_39879219的博客
11-23 269
softmax函数 它接受一个向量（或者一组变量）作为输入，每个变量指数化后除以所有指数化变量之和，（顺便说一下，sigmoid函数就是其输入数为2时的特例），有点类似于对输入进行归一化，事实上它就叫做归一化指数函数为了更直观的理解先来看一个栗子，现有一个向量如下 将其作为softamax的输入，先对其进行指数化： 最后就是： 得到的向量所有元素之和为1，每一个元素表示其概率。例如，在MNIST识...
关于softmax损失函数的推导
一亩半分地
02-23 6957
关于softmax损失函数的推导某人问我softamx损失函数的推导,索性就写一下. 定义softmax损失函数的输入为XN×CX_{N \times C}和YN×CY_{N \times C}, 其中N代表输入的数据的个数,C代表类别的个数.X指的是神经网络的输出,Y代表的是0-1矩阵,即如果第i个样本的类别为j那么yij=1y_{ij}=1, 那么第i行的其余列的值就都为0. 这里的sof
Softmax损失函数求导之最大似然vs交叉熵
lcczzu的专栏
04-24 826
最大似然： 交叉熵：
两个角度解释为什么逻辑回归（sigmoid, softmax）分类的损失函数用交叉熵而不用最小二乘
JayShaun的博客
07-04 6670
H从梯度消失角度讲从分类和回归任务的区别讲 从梯度消失角度讲 sigmoid:σ(z)=11+e−zsigmoid: \sigma(z) = \frac{1}{1+e^{-z}}sigmoid:σ(z)=1+e−z1​ 如图所示，sigmiod函数在z值很大或很小的时候几乎不变，也就是梯度接近零，如果用最小二乘不会解决这个梯度消失问题，故不选择最小二乘损失。 那为什么交叉熵损失却可以呢？因为-l...
深度学习面试题07：sigmod交叉熵、softmax交叉熵
weixin_30498921的博客
08-20 217
目录 　　sigmod交叉熵 　　Softmax转换 　　Softmax交叉熵 　　参考资料 sigmod交叉熵 Sigmod交叉熵实际就是我们所说的对数损失，它是针对二分类任务的损失函数，在神经网络中，一般输出层只有一个结点。 假设y为样本标签，_y为全连接网络的输出层的值，那么，这个对数损失定义为 PS：这个是可以用极大似...
从梯度的角度分析，softmax与sigmoid在损失函数中的不同
Highlight_Jin的博客
05-11 281
softmax和sigmoid在损失函数中的不同
激活函数（ReLU/Sigmoid）、损失函数（交叉熵损失）的数学原理
07-04
### ReLU 激活函数的数学表达式与特性 ReLU（Rectified Linear Unit）激活函数的数学表达式为： $$ f(x) = \max(0, x) $$ 该函数具有以下特性： - **非线性**：尽管形式简单，ReLU 提供了非线性变换的能力，使得神经网络可以逼近任意复杂的函数。 - **稀疏激活**：对于所有负值输入，输出为 0，这模拟了生物神经元的稀疏性[^3]。 - **梯度保持**：在 $x > 0$ 区域，导数恒为 1；在 $x < 0$ 区域，导数恒为 0。这意味着在反向传播过程中，正数区域不会出现梯度消失问题。 - **计算高效**：相比于 Sigmoid 或 Tanh 函数，ReLU 的计算成本更低。 ### Sigmoid 激活函数的数学表达式与特性 Sigmoid 函数的数学表达式为： $$ \sigma(x) = \frac{1}{1 + e^{-x}} $$ 其导数表达式为： $$ \sigma'(x) = \sigma(x)(1 - \sigma(x)) $$ Sigmoid 函数的主要特性包括： - **输出范围**：输出值在 $(0, 1)$ 区间内，适用于二分类问题中的概率解释。 - **平滑可导**：便于使用梯度下降等优化算法进行参数更新。 - **梯度消失问题**：当输入值较大或较小时，函数趋于饱和，导数接近于零，导致反向传播过程中梯度逐渐缩小，影响深层网络的训练效果[^2]。 ### 交叉熵损失函数的数学原理与推导 交叉熵损失函数常用于衡量两个概率分布之间的差异，尤其在分类任务中广泛应用。对于二分类问题，交叉熵损失函数定义如下： $$ L = -\left[y \log(p) + (1 - y)\log(1 - p)\right] $$ 其中： - $y$ 是真实标签（取值为 0 或 1） - $p$ 是模型预测的概率值（由 Sigmoid 函数输出） 在多分类任务中，若使用 Softmax 激活函数将输出转换为类别概率分布，则交叉熵损失函数表示为： $$ L = -\sum_{i=1}^{C} y_i \log(p_i) $$ 其中： - $C$ 是类别总数 - $y_i$ 是第 $i$ 类的真实标签（one-hot 编码） - $p_i$ 是模型预测的第 $i$ 类概率 #### 推导过程示例（以二分类为例）： 假设一个样本的真实标签为 $y$，模型输出经过 Sigmoid 函数后得到预测概率 $p$，则交叉熵损失函数为： $$ L = -\left[y \log(p) + (1 - y)\log(1 - p)\right] $$ 对该损失函数关于权重 $w$ 求导时，结合链式法则，可以得到梯度表达式： $$ \frac{\partial L}{\partial w} = (p - y) \cdot x $$ 这一结果表明，在二分类问题中，使用 Sigmoid 激活函数配合交叉熵损失函数时，梯度表达式简洁且避免了直接对 Sigmoid 导数连乘的问题，从而缓解了梯度消失现象[^2]。 ### 示例代码：实现 ReLU、Sigmoid 和交叉熵损失函数 ```python import numpy as np # ReLU 函数及其导数 def relu(x): return np.maximum(0, x) def relu_derivative(x): return (x > 0).astype(float) # Sigmoid 函数及其导数 def sigmoid(x): return 1 / (1 + np.exp(-x)) def sigmoid_derivative(x): s = sigmoid(x) return s * (1 - s) # 二分类交叉熵损失函数 def binary_cross_entropy(y_true, y_pred): epsilon = 1e-15 # 防止 log(0) y_pred = np.clip(y_pred, epsilon, 1 - epsilon) return -(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred)).mean() # 多分类交叉熵损失函数 def categorical_cross_entropy(y_true, y_pred): epsilon = 1e-15 y_pred = np.clip(y_pred, epsilon, 1 - epsilon) return -np.sum(y_true * np.log(y_pred)) / y_true.shape[0] ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值