常见激活函数（sigmoid/logistic/tanh/softmax/ReLU关系解释）

最新推荐文章于 2025-03-18 12:10:32 发布
最新推荐文章于 2025-03-18 12:10:32 发布
阅读量8k 收藏 12
点赞数 5
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Irene_Loong/article/details/78002388
版权
本文介绍了神经网络中常见的激活函数，包括Sigmoid的二分类特性，Softmax的多分类扩展，以及ReLU与softplus之间的联系。ReLU作为平滑函数，通过softplus求导得到logistic函数，进一步泛化为softmax，形成了一条函数关系链。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Sigmoid

神经网络最常见的激活函数就是sigmoid函数。
sigmoid函数意为“S型曲线函数”，它常常指的是logistic（对数几率）函数：

y=11+e−x=exex+1

这里写图片描述
但sigmoid函数还有其他的函数，例如tanh函数等。
tanhx=ex−
最低0.47元/天 解锁文章
逻辑回归(使用激活函数sigmoid)详细介绍
这里是Mae。
03-16 5209
逻辑回归(使用激活函数sigmod)详细介绍
ReLU,Sigmoid,Tanh,softmax,pipeline【基础知识总结】
zik的博客
11-27 3838
一、ReLU（Rectified Linear Activation Function） 1、优点 2、缺点 3、补充 1.Leaky ReLUs 2.参数化修正线性单元（PReLU） 3.随机纠正线性单元（RReLU） 二、Sigmoid 1、优点 2、缺点 三、Tanh（hyperbolic tangent） 四、Sigmoid 和 Tanh 激活函数的局限性 五、softmax（归一化指数函数） 1、将预测结果转化为非负数 2、各种预测结果概率之和等于1 3、例子 六、pipeline
逻辑回归之sigmoid/tanh/relu激活函数
legalhighhigh的博客
08-02 1万+
z=ωTx+bz=ωTx+bz = \omega^Tx + b y=y=y =
【漫话机器学习系列】146.Softmax 激活函数（Softmax Activation Function）
最新发布
IT古董
03-18 1268
Softmax 函数（Softmax Activation Function）是一种常用于多分类任务的激活函数，广泛应用于机器学习和深度学习模型，特别是在神经网络的输出层。它的主要作用是将输入的多个实数值转换为 0 到 1 之间的概率分布，使得输出的所有数值之和等于 1，从而可以用作分类任务的概率预测。Softmax 作为一种重要的激活函数，广泛应用于神经网络的多分类任务中。它的指数特性可以放大数值之间的差异，使得类别之间的区分更加明显，同时归一化操作确保所有输出值形成一个有效的概率分布。
激活函数
sophicchen的专栏
12-09 1543
1. 激活函数 导数： 2.sigmoid函数 其实logistic函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线（S型曲线）。A logistic function or logistic curve is a common “S” shape (sigmoid curve). 也就是说，sigmoid把一个值映射到0-1之间。 该函数具有如下...
logistic挤压型激活函数（机器学习）
公众号：风景邮递Yuan的博客
11-12 1411
在二分类任务中最后一层使用的对率函数与在神经网络层与层之间连接的Sigmoid激活函数，是同样的形式。所以它既是激活函数，又是分类函数，是个特例。从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区， 将非重点特征推向两侧区。一个是 Logistic 函数，另一个是Tanh 函数。的作用，所以叫挤压型激活函数，又可以叫饱和型激活函数。型的函数，在神经网络中，有两个常用的。其输出在两端是饱和的，都具有S。第一步：这一类函数的特点。
逻辑回归、激活函数sigmoid、损失及优化、案例代码实现
我的个人博客
12-23 2755
逻辑回归概念及原理，激活函数sigmoid函数，损失以及优化，逻辑回归API，sklearn.linear_model.LogisticRegression，良／恶性乳腺癌肿瘤分类预测案例代码实现
文档：激活函数的比较和优缺点sigmoid tanh relu.pdf
11-10
本文将重点讨论三种常见的激活函数：sigmoid、tanh和ReLU，以及它们各自的优缺点和应用场景。 1. **sigmoid** 函数是一种S型曲线，其公式为`f(x) = 1 / (1 + e^(-x))`。它将实数值映射到(0,1)之间，常用于二分类...
常用激活函数Sigmoid & Softmax & ReLU& Tanh的整理总结
weixin_44766038的博客
11-08 2194
激活函数使用原因： 1、如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 2、如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 比如，在单层感知机中，分类的结果大于某个值为一类，小于某个值为一类，这样的话就会使得输出结果在这个点发生阶跃，logistic函数（sig...
深度学习之激活函数的介绍和比较：sigmoid，tanh，relu，softmax
Yio_Eagle的博客
09-07 2212
本文参考自3个博客，整理合并而成。 1.https://blog.youkuaiyun.com/haxiongha/article/details/79404304 2.https://blog.youkuaiyun.com/u011684265/article/details/78039280 3.https://www.cnblogs.com/gezhuangzhuang/p/10583394.html 目录...
激活函数汇总
qq_59815419的博客
04-19 1952
特点：Softmax 函数可视为 Sigmoid 函数的泛化形式， 其本质就是将一个 K 维的任意实数向量压缩（映射）成另一个 K 维的实数向量， 其中向量中的每个元素的取值范围都介于 [ 0 ， 1 ] [0，1][0，1] 之间(可以理解为概率)。也就是说，相比于早期的激活函数，Softplus函数和ReLU函数更加接近脑神经元的激活模型，而神经网络正是基于脑神经科学发展而来，这两个激活函数的应用促成了神经网络研究的新浪潮。和 Tanh一样，它是反对称的、零中心、可微分的，值域在-1到1之间。
机器学习之逻辑回归（一）：逻辑回归的原理、模型、激活函数的使用、损失函数、优化方法（附手写案例）
汪雯琦的博客
02-27 4101
逻辑回归需要掌握的知识点 知道逻辑回归的损失函数 知道逻辑回归的优化方法 知道sigmoid函数 知道逻辑回归的应用场景 应用LogisticRegression实现逻辑回归预测 知道精确率、召回率指标的区别 知道如何解决样本不均衡情况下的评估 了解ROC曲线的意义说明AUC指标大小 应用classification_report实现精确率、召回率计算 应用roc_auc_score实现指标计...
激活函数：logistic、Tanh、Relu、leaky relu、ELU的图像及python绘制代码
qq_52714030的博客
05-24 898
【代码】激活函数：logistic、Tanh、Relu、leaky relu、ELU的图像及python绘制代码。
Sigmoid 函数(logistic函数)笔记
热门推荐
西之可乐的专栏
07-19 5万+
其实logistic函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线（S型曲线）。   该函数具有如下的特性：当x趋近于负无穷时，y趋近于0；当x趋近于正无穷时，y趋近于1；当x= 0时，y=0.5.   优点： 1.Sigmoid函数的输出映射在(0,1)之间，单调连续，输出范围有限，优化稳定，可以用作输出层。 2.求导容易。 缺点： 1.由...
说一说激活函数是个啥
LEEANG121的博客
10-24 798
说一说激活函数是个啥为什么要用激活函数激活函数的种类总结 什么是激活函数 我们知道，在深度学习中，我们训练一个神经网络的过程是，首先输入数据，然后分别对每个输入和输出对分配权值。我们把输入数据和权值相乘并进行累加，再加上一个偏置量，就得到了一个输出的结果。但是这个过程是线性的，而激活函数的作用就是把这些线性信号转化为非线性，而这种非线性使得我们能够学习到输入与输出之间任意复杂的变换关系。 为什么...
Sigmoid/Logistic function and softmax without overflow
xceman1997的专栏
08-15 4933
在看一些资料，常提到sigmoid函数和softmax函数，两者区别？应用场景？转载的这篇文章可供参考。 原文地址：http://www.appliedcuriosity.eu/blog/post/22/sigmoidlogistic-function-and-softmax-without-overflow Friday, May 10, 2013 15:16
机器学习（14）——激活函数
weixin_53598445的博客
04-01 5588
这里写目录标题1 定义2 激活函数的优点3 常用的激活函数3.1 单位阶跃函数3.2 Logistic函数3.3 Tanh函数3.4 ReLU函数3.5 LeakyReLU函数3.6 Softmax函数4 如何选择恰当的激活函数 1 定义   激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活
机器学习：逻辑回归
qq_39422822的博客
04-16 742
梯度计算# 权重更新bias = 0。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值