[机器学习] softmax,sigmoid,relu,tanh激活函数

深度学习激活函数解析：softmax、sigmoid、tanh与ReLU
最新推荐文章于 2025-06-16 08:53:43 发布
最新推荐文章于 2025-06-16 08:53:43 发布
阅读量595 收藏 14
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Trance95/article/details/117958315
本文介绍了深度学习中常用的激活函数：softmax用于多分类，常在最后一层；sigmoid适用于二分类，常在输出层；tanh在隐藏层使用，输出以0为中心；ReLU因其稀疏性与快速计算被广泛采用，但存在梯度消失问题，衍生出Leaky ReLU和ELU等变体。

参考： https://blog.youkuaiyun.com/weixin_43483381/article/details/105232610
参考 ：https://blog.youkuaiyun.com/zhuiyuanzhongjia/article/details/80576779
参考： https://www.sohu.com/a/452666201_809317

softmax 与 sigmoid 结构上的区别：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

可以看出最大的区别在于softmax的计算的是一个比重，而sigmoid只是对每一个输出值进行非线性化。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Softmax 函数：深度学习中的概率大师
Dfreedom.的博客
11-06 897
本文深入解析了Softmax函数在深度学习多分类任务中的关键作用。通过将神经网络的原始输出(logits)转换为合法的概率分布，Softmax满足了非负性和归一性两大要求，使结果具有明确概率解释。文章详细拆解了Softmax的数学原理和计算过程，阐述了其与交叉熵损失函数的完美配合优势，并分析了指数函数的放大效应特性。同时指出Softmax的局限性（如类别互斥假设）及替代方案（如温度Softmax）。最后给出实用建议：Softmax适用于单标签互斥分类任务，但不适合多标签或类别极多的情况。全文通过具体示例和代
ReLU,Sigmoid,Tanh,softmax,pipeline【基础知识总结】
zik的博客
11-27 4014
一、ReLU（Rectified Linear Activation Function） 1、优点 2、缺点 3、补充 1.Leaky ReLUs 2.参数化修正线性单元（PReLU） 3.随机纠正线性单元（RReLU） 二、Sigmoid 1、优点 2、缺点 三、Tanh（hyperbolic tangent） 四、Sigmoid 和 Tanh 激活函数的局限性 五、softmax（归一化指数函数） 1、将预测结果转化为非负数 2、各种预测结果概率之和等于1 3、例子 六、pipeline
【深度学习基础】激活函数：Tanh、Sigmoid 和 Softmax
qq_41767061的博客
06-13 1632
Tanh（双曲正切函数）将输入值压缩到 [-1, 1] 的范围内。其公式如下：
神经网络激活函数softmax/sigmoid/tanh/relu总结
Coding
08-20 972
激活函数 Rectified Linear Unit(ReLU) 用于隐层神经元输出 Sigmoid用于隐层神经元输出 Softmax 用于多分类神经网络输出 Linear 用于回归神经网络输出（或二分类问题） 具体分析请看原文章—— 版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.youkuaiyun.com/...
激活函数-sigmoid、tanh、relu、softmax对比
最新发布
weixin_67868534的博客
06-16 1409
本文解析了神经网络激活函数的核心作用与选型建议。激活函数通过引入非线性特性使网络能学习复杂模式，其作用包括控制输出范围（如Sigmoid输出概率、ReLU过滤负值）和优化训练动态（缓解梯度消失）。常见激活函数分为饱和类（Sigmoid/Tanh）和非饱和类（ReLU/LeakyReLU），分别适用于不同场景：二分类输出推荐Sigmoid，CNN隐藏层优选ReLU，RNN适合Tanh。深层网络建议使用ReLU变体以避免梯度消失，资源受限时选择计算简单的激活函数。实际应用中需结合任务需求和数据特性进行实验验证。
激活函数（sigmoid、Tanh、ReLu、softmax、softmin、LogSoftma）公式，作用，使用场景和python代码（包含示例）详解
2301_76901778的博客
05-10 1735
Softmin 激活函数是 Softmax 激活函数的一种变体，它同样将一组实数转换为概率分布，不过更倾向于突出较小的值。激活函数是一些非线性、可微分的函数。LogSoftmax 激活函数是对 Softmax 函数的输出取自然对数。输入值小于等于 0 时，输出 0。输出均值接近 0，有助于缓解梯度下降时的“偏移”问题。与负对数似然损失（NLLLoss）结合时，效率更高。对输入进行简单截断，将负值置为 0，正值保持不变。除以这个和，得到的结果都在0到1之间，且。将任意实数映射到 (0,1) 区间内。
深度学习中几种常见函数介绍（SoftMax,ReLU,Sigmoid,Tanh）
鬼马行天的博客
04-23 1105
Softmax函数将任意实数值的向量转换为相同维度的实数值向量，其中每个元素的值处于(0,1)区间内，并且所有元素的和为1。因此，Softmax输出可以被解释为一个概率分布。这些函数各有特点，选择哪种函数通常取决于具体问题的需求、网络架构和所需的数学特性。ReLU及其变体因其简单高效而广泛使用于各种网络的隐藏层，而Softmax、Sigmoid和Tanh则更多地用于输出层，以便于输出解释和概率估计。
激活函数ReLU,Sigmoid,tanh,softmax性质讲解及使用matplotlib绘制
bbaaa123的博客
10-02 989
激活函数ReLU,Sigmoid,tanh,softmax性质讲解及使用matplotlib绘制
机器学习——sigmoid、tanh、relu等激活函数总结
程序猿之家
08-28 9366
一、什么是激活函数？ 一个神经元会同时接收多个信号，然后将这些信号乘以一定权重求和，再用函数处理后再输出新的信号。对神经元的输入进行处理，以获得输出的函数称为激活函数。 二、为什么要用激活函数？ 激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。 激活函数可以引入非线性因素。如果不使用激活函数，则输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习...
常用激活函数activation function（Softmax、Sigmoid、Tanh、ReLU和Leaky ReLU) 附激活函数图像绘制python代码
记录知识，学习分享
04-10 4万+
激活函数是确定神经网络输出的数学方程式。 激活函数的作用：给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。 1、附加到网络中的每个神经元，并根据每个神经元的输入来确定是否应激活。 2、有助于将每个神经元的输出标准化到1到0或-1到1的范围内。 常用非线性激活函数对比 激活函数 公式 函数图像 适合场景 Softmax 多分类任务输出层 Sigmoid 二分类任务输出层，模型隐藏层 Tanh
机器学习——激活函数sigmoid、tanh、ReLU和softmax
fortune_cookie的博客
10-17 3235
在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。具体来说，神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。比较常用的激活函数主要有：sigmoid函数、tanh函数、ReLU函数和softmax函数。下面我们将具体介绍。
激活函数——Sigmoid、tanh、ReLU、softmax激活函数
Yaki_Duck的博客
07-26 2086
Sigmoid函数的图形是一个S形曲线，也称为逻辑曲线。当输入值 𝑥 非常大时，函数输出趋近于1；当输入值 𝑥 非常小时，函数输出趋近于0。当 𝑥 接近0时，函数的输出约为0.5。给定元素 x ，ReLU函数被定义为该元素与 0 对比中的最大值。在二分类任务时，经常使用sigmoid激活函数。而在处理多分类问题的时候，需要使用softmax函数。它的输出有两条规则。ReLU函数通过将相应的活性值设为0，仅保留正元素并丢弃所有负元素。如下为ReLU函数的曲线图。σ(x) 是Sigmoid函数的输出。
激活函数(sigmoid、tanh、ReLU、softmax)
tcn760的博客
04-07 11万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
激活函数：Sigmoid，Tanh，Softmax，Swish，Relu系列，GLU+GTU
clover_my的博客
06-03 9168
激活函数：Sigmoid，Tanh，Softmax，Swish，Relu系列，GLU+GTU 激活函数又称“非线性映射函数”，是深度卷积神经网络中不可或缺的模块。可以说，深度网络模型强大的表示能力大部分便是由激活函数的非线性单元带来的。激活函数是网络中非线性的来源，去除了该部分之后网络就只剩下线性运算部分，而且线性运算的组合叠加也是线性的，最后得到的结果模型等价于单层的线性模型。为了能够适用于复...
三分钟带你对 Softmax 划重点
weixin_34378969的博客
06-14 4898
红色石头的个人网站：redstonewill.com 1. 什么是Softmax Softmax 在机器学习和深度学习中有着非常广泛的应用。尤其在处理多分类（C > 2）问题，分类器最后的输出单元需要Softmax 函数进行数值处理。关于Softmax 函数的定义如下所示： 其中，Vi 是分类器前级输出单元的输出。i 表示类别索引，总的类别个数为 C。Si 表示的是当前元素的指数与所有...
入门级都能看懂的softmax详解
热门推荐
bitcarmanlee的博客
09-02 69万+
1.softmax初探 在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。 首先我们简单来看看softmax是什么意思。顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b，则max为...
常见激活函数（Sigmoid、Tanh、Relu、Leaky Relu、Softmax）
weixin_44115575的博客
06-20 5万+
不同的激活函数有不同的输出范围，比如Sigmoid函数的输出在(0, 1)之间，Tanh函数的输出在(-1, 1)之间，ReLU函数的输出在[0, ∞)之间。在神经网络的基本结构中，每个神经元接收输入信号，对其进行加权求和后加上偏置项，然后将这个结果通过激活函数进行转换，得到神经元的输出。由于大多数实际问题都是非线性的，非线性激活函数使得神经网络能够拟合复杂的函数映射关系，从而解决非线性问题。：某些激活函数（如ReLU）具有计算效率高的优点，因为它们的计算只涉及到基本的算术操作，而不需要昂贵的指数运算。
也谈激活函数Sigmoid,Tanh,ReLu,softplus,softmax
不二的博客
06-24 1331
先看一下wikipedia列出来的这些函数[1] 所谓激活函数，就是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。常见的激活函数包括上面列出的Sigmoid、tanh、ReLu、 softplus以及softmax函数。 这些函数有一个共同的特点那就是他们都是非线性的函数。那么我们为什么要在神经网络中引入非线性的激活函数呢？知乎上有一段很有意思的话[2]： 如果不...
SoftMax
qq_38816432的博客
12-02 585
文章目录1. softmax 1. softmax softmax算子一般用于多分类场景，把神经元的输出映射到（0-1）之间的实数，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。使得经过softmax后的输出为每个类别的概率，并且各个概率的和为1。 softmax的计算过程为：某元素的指数与所有元素指数和的比值。 在实际应用中，需要注意softmax中存在的数据溢出问题，如果softmax的输入V过大，经过指数运算后，很容易出现数据溢出。解决办法是：将V中的每一个数据，都减去V中的最大值：
23种PyTorch激活函数及可视化代码示例
在深度学习和机器学习领域，激活函数起着至关重要的作用。它们能够向神经网络引入非线性因素，使得网络能够学习和模拟复杂的函数映射。本篇将详细解读23种激活函数的示例及其可视化代码，并且重点以PyTorch框架进行...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值