PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）

最新推荐文章于 2025-05-12 09:18:26 发布
最新推荐文章于 2025-05-12 09:18:26 发布
阅读量8k 收藏 50
点赞数 22
分类专栏： PyTorch基础 文章标签： pytorch 深度学习 python 激活函数 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jiebaoshayebuhui/article/details/130441213
版权
本文介绍了神经网络中常用的激活函数，包括Sigmoid、Tanh、ReLU和LeakyReLU。Sigmoid和Tanh函数虽有非线性建模能力，但存在梯度消失问题；ReLU因其简单快速的收敛性而广泛使用，但可能导致神经元死亡；LeakyReLU则试图解决ReLU的死亡问题。选择激活函数需根据具体模型进行尝试和分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

需要源码请点赞关注收藏后评论区留言私信~~~

激活函数是神经网络中的重要组成部分。在多层神经网络中，上层节点的输出和下层节点的输入之间有一个函数关系。如果这个函数我们设置为非线性函数，深层网络的表达能力将会大幅度提升，几乎可以逼近任何函数，这里，我们把这些非线性函数叫做激活函数。激活函数的作用就是给网络提供非线性的建模能力。

一、Sigmoid函数

Sigmoid函数指一类S型曲线函数，为两端饱和函数。Sigmoid函数是使用范围最广的一类激活函数，在物理意义上最接近生物神经元

由于它的输出在（0,1）之间，所以还可以被表示为概率或者用作输入的归一化，即带有“挤压”的功能

Sigmoid函数图像与公式

torch.sigmoid()：函数或方法 torch.nn.Sigmoid() ：网络层 torch.nn.functional.sigmoid()：层中方法，在forward中使用

 

Sigmoid函数很好地解释了神经元在受到刺激的情况下是否被激活和向后传递的情景，当取值接近0时几乎没有被激活，当取

最低0.47元/天 解锁文章
【DL经典回顾】激活函数大汇总（一）（Sigmoid & Tanh & ReLU & Leaky ReLU & PReLU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 2057
欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，每篇详细介绍五种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。
Pytorch激活函数之Relu家族：ReLU、LeakyReLU等
奥古斯都
11-11 1万+
昨天在听师弟师妹分享图卷积神经网络一篇paper的时候，看到一个激活函数LeakyReLU，因此萌生了学习一下的想法。 1、为什么需要非线性激活函数？ 首先这个问题其实可以拆分成个问题：①为啥需要激活函数？②为啥还是非线性的激活函数？ 对于第一个问题来说，在神经网络中，我们增加了激活函数就是想增加模型的学习能力，让表达的能力增强而不只是简单的线性组合。 对于第二个问题来说，因为如果是线性的激活函数，比如y=kx(k≠0)，那么经过三层激活以后其实学到的东西很有限，可能仅仅堆叠多个线性层。 总而言之
pytorch基础（3）【sigmoid,激活函数，优化器】
qq_61094172的博客
03-27 3820
sigmoid函数 logistic function是一种sigmoid函数 和Linear的区别 sigmoid函数是不需要参数的，所以不用对其初始化（直接调用nn.functional.sigmoid即可）。 另外loss函数从MSE改用交叉熵BCE：尽可能和真实分类贴近。 # -*- coding: utf-8 -*- """ Created on Mon Oct 18 08:35:00 2021 @author: 86493 """ import torch import torch.nn
【pytorch】非线性激活（Sigmoid、ReLU），线性层
2301_80365008的博客
05-11 1302
input_data = torch.randn(3, 10) # batch_size=3, input_dim=10 分别表示的输入模型的样本数量，和输入数据的特征数量或者维度。下面的代码中，因为输入入张量中包含负值，ReLU 激活函数会将所有负值变为零，因此输出张量中的负值都被截断为零。in_features（输入特征数量）：指的是线性层接收的输入特征的数量。out_features（输出特征数量）：指的是线性层产生的输出特征的数量。x1,x2...通过不同的表达式的和组成g1,g2...
Sigmoid Function
最新发布
Youmg的博客
05-12 1175
为了帮助你更好地理解 Sigmoid 函数的导数 推导过程，我们将按照以下步骤逐步展开：Sigmoid 函数的表达式为： σ(x)=11+e−x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+e−x1​ 我们的目标是求其对 $ x $ 的导数 $ \sigma’(x) $。我们将 $ \sigma(x) $ 重写为： σ(x)=(1+e−x)−1 \sigma(x) = (1 + e^{-x})^{-1} σ(x)=(1+e−x)−1 设 $ u = 1 + e^{-x}
pytorch中sigmoid()函数
weixin_38410551的博客
09-27 1万+
函数sigmoid()的用法：神经网络中的激活函数。 参考链接：https://blog.csdn.net/qq_39938666/article/details/88809726
[Python] pytorch激活函数之Sigmoid函数介绍，使用场景和使用案例
老狼工作室的博客
01-06 5048
本文介绍了pytorch中Sigmoid激活函数及其使用场景和使用案例。
Sigmoid 函数
MagicQIT的专栏
01-08 3万+
Sigmoid函数，即f(x)=1/(1+e-x)。是神经元的非线性作用函数。广泛应用在神经网络中。 神经网络的学习是基于一组样本进行的，它包括输入和输出（这里用期望输出表示），输入和输出有多少个分量就有多少个输入和输出神经元与之对应。最初神经网络的权值（Weight）和阈值（Threshold）是任意给定的，学习就是逐渐调整权值和阈值使得网络的实际输出和期望输出一致。 给定以下的总输入，我们
Sigmoid函数
热门推荐
saltriver的专栏
02-26 13万+
Sigmoid函数是一个有着优美S形曲线的数学函数，在逻辑回归、人工神经网络中有着广泛的应用。
PyTorch深度学习实践——6.逻辑sigmoid函数
weixin_46587777的博客
06-10 4460
PyTorch深度学习实践——6.逻辑斯蒂回归
PyTorch: 激活函数的梯度:sigmoid tanh relu
2205_75881260的博客
03-04 229
①Tanh函数的表达式:f(x)=(e^x-e^-x)/(e^x+e^-x)=2sigmoid(2x)-1。②对输入的数据进行加权求和，然后再通过阈值响应机制，满足一定的条件，输出特定的值。②梯度信息是1，而且保持梯度不变，避免了梯度弥散和梯度爆炸的情况。①函数是单调递增的，并且值控制在0～1之间。②函数的导数=f(x)*[1-f(x)]②函数值在-1～1之间，函数是单调递增的。2、sigmoid函数。
激活函数ReLU,Sigmoid,tanh,softmax性质讲解及使用matplotlib绘制
bbaaa123的博客
10-02 892
激活函数ReLU,Sigmoid,tanh,softmax性质讲解及使用matplotlib绘制
【pytorch函数笔记（二）】torch.nn.Sigmoid()
大道至简
03-31 4万+
import torch.nn as nn torch.nn.sigmoid() 一、sigmoid介绍   sigmoid是激活函数的一种，它会将样本值映射到0到1之间。   sigmoid的公式如下： 11+e−x \frac{1}{1+e^{-x}} 1+e−x1​ 二、sigmoid的应用 代码： import torch.nn as nn import torch #取一组满足标准正态分布的随机数构成3*3的张量 t1 = torch.randn(3,3) m = nn.Sigmoid()
PyTorch | 激活函数（Sigmoid、Tanh、ReLU和Leaky ReLU）
m0_52650517的博客
09-13 4345
激活函数（sigmoid、tanh、relu）1. 简介2. sigmoid3. sigmoid 1. 简介 \qquad在深度学习中，输入值和矩阵的运算是线性的，而多个线性函数的组合仍然是线性函数，对于多个隐藏层的神经网络，如果每一层都是线性函数，那么这些层在做的就只是进行线性计算，最终效果和一个隐藏层相当！那这样的模型的表达能力就非常有限 。 \qquad实际上大多数情况下输入数据和输出数据的关系都是非线性的。所以我们通常会用非线性函数对每一层进行激活，大大增加模型可以表达的内容（模型的表达效率和层数有
Pytorch ----逻辑斯蒂回归 （Sigmoid函数） -----分类问题模型,~~学习笔记
深度不学习！！的博客
10-31 4242
说是回归，实际是在讨论分类问题。 如下的分类图，里面含有0-9 十个数字。 这时候就不能再使用前面几节学过的线性回归模型(y = w * x + b)了，因为图片中的数字并没有对应到实际抽象的数字，我们只做分类，图片类别之间是没有大小的。 也就是我们要算出来 根据输入值，算出其属于某一部分的概率。 例如之前在线性回归中使用的数据模型: x表示学习几个小时，y表示考试中可以得到几分。 而现在的数据模型改为: x依旧是学习几个小时，y变为是否能够通过考试，0不通过，1通过。 此时为明显的分类问题，此处叫二
PyTorch自定义带学习参数的激活函数（如sigmoid）
YellowYi的博客
04-15 4781
有的时候我们需要给损失函数设一个超参数但是又不想设固定阈值想和网络一起自动学习，例如给Sigmoid一个参数alpha进行调节 函数如下： import torch.nn as nn import torch class LearnableSigmoid(nn.Module): def __init__(self, ): super(LearnableSigmoid, self).__init__() self.weight = torch.nn.Paramete
【深度学习pytorch-24】sigmoid激活函数
m0_69378371的博客
02-15 937
Sigmoid 激活函数（Sigmoid Activation Function）是神经网络中一种常用的激活函数，它将输入值映射到一个介于 0 和 1 之间的输出值，通常用于二分类问题的输出层。Sigmoid 函数的输出范围限制为 (0, 1)，因此它可以解释为概率值，特别适合用于需要概率输出的任务。Sigmoid 激活函数将输入值压缩到 (0, 1) 之间，适合于二分类任务的输出层，输出可以解释为概率。它引入了非线性，帮助神经网络拟合复杂的非线性关系。
Pytorch sigmoid函数，与门电路
qq_44625074的博客
02-02 660
#sigmoid函数，与门电路 import torch X = torch.tensor([[1,0,0],[1,1,0],[1,0,1,],[1,1,1]] ,dtype = torch.float32) andgate = torch.tensor([[0],[0],[0],[1]],dtype = torch.float32) w = torch.tensor([-0.2,0.15,0.15] ,dtype = torch.float32) # b,w1,w2 def LogisticR(X,w)
Pytorch 自定义激活函数前向与反向传播 sigmoid
jasneik的博客
04-04 2524
文章目录Sigmoid公式求导过程优点：缺点：自定义Sigmoid与Torch定义的比较可视化 import matplotlib import matplotlib.pyplot as plt import numpy as np import torch import torch.nn as nn import torch.nn.functional as F %matplotlib inline plt.rcParams['figure.figsize'] = (7, 3.5) plt.rcPar
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

showswoller

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值