简单介绍Sigmoid,ReLU两个激活函数

最新推荐文章于 2024-12-14 12:24:12 发布
最新推荐文章于 2024-12-14 12:24:12 发布
阅读量865 收藏 1
点赞数 1
CC 4.0 BY-SA版权
文章标签： 神经网络 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40680263/article/details/96510832
本文介绍了神经网络中的激活函数，包括阶跃函数的概念，以及Sigmoid和ReLU函数的特性。Sigmoid函数因其平滑性可输出0-1间的连续值，而ReLU函数则因其简单和高效成为现代神经网络的首选激活函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

神经网络中的激活函数

激活函数就是将输入信号的总合转换为输出信号。

举例（阶跃函数）

对于如下图所示的感知机
在这里插入图片描述
可以直观的看出对于神经元y，当b+w1x1+w2x2<=0b+w_1x_1+w_2x_2<=0b+w1​x1​+w2​x

最低0.47元/天 解锁文章

200万优质内容无限畅学
书亚shua
关注
【三.深度学习视觉基础】【3.激活函数对比：Sigmoid/ReLU/GELU】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-15 230
激活函数（Activation Function）是神经网络中最核心的组件之一，它决定了神经元是否被激活、如何传递信号，甚至直接影响模型的收敛速度和性能表现。不同的激活函数有不同的特性，有的像“开关”一样简单粗暴，有的像“概率分布”一样复杂优雅。和，从数学原理、优缺点到实际应用场景，一次性讲透！
常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
深度学习Deep Learning（04）：权重初始化问题2_ReLu激励函数
莫失莫忘的博客
01-09 4274
github地址：https://github.com/lawlite19/DeepLearning_Python 三、权重初始化问题2_ReLu激励函数1、说明 参考论文：https://arxiv.org/pdf/1502.01852v1.pdf 或者查看这里，我放在github上了：https://github.com/lawlite19/DeepLearning_Python/blob/ma
深度学习常见的两类激活函数
qq_44861043的博客
06-27 623
深度学习常见的两类激活函数 0, 激活函数 激活函数在神经元中非常重要的．为了增强网络的表示能力和学习 能力，激活函数需要具备以下几点性质： （1） 连续并可导（允许少数点上不可导）的非线性函数．可导的激活函数 可以直接利用数值优化的方法来学习网络参数． （2） 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率． （3） 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太 小，否则会影响训练的效率和稳定性． ​ 下面介绍几种在神经网络中常用的激活函数． 1， sigmoi
Sigmoid型和ReLU型激活函数
weixin_28840341的博客
10-17 540
1.Sigmoid型函数 Sigmoid 型函数是指一类S 型曲线函数，为两端饱和函数．常用的Sigmoid型函数有Logistic 函数和Tanh 函数． 1.1 Hard-Logistic 函数和Hard-Tanh 函数 图4.2给出了Logistic 函数和Tanh 函数的形状．Tanh 函数的输出是零中心化的（Zero-Centered），而Logistic函数的输出恒大于0．非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移（Bias Shift），并进一步使得梯度下降...
Python3神经网络,经典简单示例sigmoid激活函数
billyhhzh的博客
11-01 2185
选用了sigmoid作为激活函数，作为输出层的计算(多分类版本的logistic回归)，影响输出层的delta计算； 选用了squared-error作为损失函数(注：会影响calculate_loss函数的计算以及输出层的delta计算)   __author__ = 'http://clayandgithub.github.io/' import numpy as np from sk...
深度残差网络+自适应参数化ReLU激活函数：调参记录2
ABCD_202020的博客
04-27 332
续上一篇： 深度残差网络+自适应参数化ReLU激活函数（调参记录1） https://blog.youkuaiyun.com/dangqing1988/article/details/105590515 本文依然是测试深度残差网络+自适应参数化ReLU激活函数，残差模块的数量增加到了27个，其他保持不变，卷积核的个数依然是8个、16个到32个，继续测试在Cifar10数据集上的效果。 自适应参数化ReLU激活...
[小白系列]sigmoid和tanh激活函数的绘制(分开画，合起来画，总有一款适合你），逐行代码详解
12-21
本篇文章将详细讲解两种常见的激活函数——Sigmoid和Tanh，并通过Python代码演示如何分别绘制它们的图形以及如何将它们合在一起画在同一张图上。 Sigmoid函数，也称为Logistic函数，表达式为： \[ f(x) = \frac{1}{...
【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数（2024最新整理）
Next_SummerAgain的博客
01-05 1847
激活函数（activation function）的作用是对网络提取到的特征信息进行非线性映射，提供网络非线性建模的能力。常见的激活函数有 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 等。
【AI知识】激活函数介绍（sigmoid & Tanh & Relu）+ 梯度爆炸 / 消失及解决办法
想买很多漂亮衣服但是买不起的博客
12-14 946
【AI知识】激活函数介绍（sigmoid & Tanh & Relu）+ 梯度爆炸 / 消失介绍
恒等函数，阶跃函数，sigmoid函数，softmax使用及其特点
越过山丘
04-28 539
import matplotlib.pyplot as plt import numpy as np # 神经网络激活函数 # 阶跃函数 def step_function(x): return np.array(x > 0, dtype=np.int) # sigmoid函数 --二元分类问题 def sigmoid(x): return 1 / (1 + np.exp(-x)) # relu函数 def ReLU(x): return np.maximum
一文讲透神经网络的激活函数
算法进阶
10-12 1657
为什么要激活函数？ 原理上来说，神经网络模型的训练过程其实就是拟合一个数据分布（x）可以映射到输出（y）的数学函数，即 y= f(x)。 拟合效果的好坏取决于数据质量及模型的结构，像逻辑回归、感知机等线性模型的拟合能力是有限的，连xor函数都拟合不了，那神经网络模型结构中提升拟合能力的关键是什么呢？ 搬出神经网络的万能近似定理可知，“一个前馈神经网络如果具有线性输出层和至少一层具有任何一种‘‘挤压’’ 性质的激活函数的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意的精度来近似任何从一个有限维空间到另
deep learning入门（一）
AndyViky的博客
04-05 533
DL入门（一）powered by @李宏毅 第一课（Deep Learning概览） outline: 1 Universality theroy: 使用一层的Neural network就可以fit所有的函数。 what is the L-Lipschitz function? output的变化一定要小于等于input的变化。 how many neurons are needed...
激活函数ReLU、Leaky ReLU、PReLU和RReLU
aizhouqian5537的博客
03-28 1万+
“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。 sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点： 1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。 2.其次，它能加快收敛速度。 Sigmoid函数需要一个实值输入压缩至[0,1]的范围 σ(x) = 1 /...
干货|通过函数图像，理解26种神经网络激活函数
小白学视觉
09-27 774
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达在本文中，作者对包括 Relu、Sigmoid 在内的 26 种激活函数做了可视化，并附上了神经网络的相关属性，为大家了解激活函数提供了很好的资源。在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至...
【李宏毅机器学习】（二）误差梯度下降
7TribeZ的博客
09-17 341
Back to ML_Step 2 :define loss from training data 那接下来进入第二步了,我们要定 Loss,有了新的这个 Model 以后,我们 Loss 没有什麼不同,定义的方法是一样的,只是我们的符号改了一下,之前是 L ( w 跟 b ),因為 w 跟 b 是未知的,那我们现在接下来的未知的参数很多了,你再把它一个一个列出来,太累了,所以我们直接用 θ 来统设所有的参数,所以我们现在的 Loss Function 就变成 这个 Loss Function
工程部署: 低算力平台模型性能的优化
3D视觉工坊
02-09 583
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨陈e来源丨GiantPandaCV编辑丨极市平台导读此文讨论如何在低端的移动设备上提高模型性能，文章针对模型(不改变模型原有o...
激活函数简介
cuijiali961224的博客
07-15 484
激活函数简介 本文意在干脆地写明白激活函数的优缺点 sigmoid 激活函数 Sigmoid : σ(x)=11+e−x\sigma (x) = \frac{1}{{1 + e^{ - x} }}σ(x)=1+e−x1​ 优点 将变量映射到 [0,1] Logistic函数的特例 可用于二分类 因可解释为神经元的饱和激发率(firing rate) ，历史上比较流行 问题 饱和神经元会“k...
几种常用激活函数的简介
热门推荐
kangyi411的博客
01-04 10万+
sigmod，tanh，relu，elu，prelu，leaky relu
同时使用ReLU激活函数和sigmoid激活函数选择什么初始函数
最新发布
04-19
<think>好的，我现在需要帮助用户解决关于同时使用ReLU和sigmoid激活函数时如何选择权重初始化方法的问题。首先，我得回顾一下之前提供的回答，确保信息的一致性。 用户的问题是在同一个神经网络中同时使用ReLU和Sigmoid激活函数，这时候应该如何选择初始化方法。之前的回答中，我分别介绍了ReLU对应的Kaiming初始化和Sigmoid对应的Xavier初始化，但现在需要处理两者共存的情况。 首先，我需要确认这两种激活函数在神经网络中的位置。通常，ReLU常用于隐藏层，而Sigmoid可能用于输出层，比如二分类问题。这种情况下，不同层可能需要不同的初始化方法。例如，隐藏层使用ReLU，用Kaiming初始化；输出层用Sigmoid，用Xavier初始化。 但用户的问题可能更复杂，比如网络中有交替使用的情况，或者某些隐藏层用ReLU，另一些用Sigmoid。这时候需要分析不同层对初始化的需求。ReLU需要补偿方差减半，而Sigmoid需要避免梯度消失，保持输入输出方差平衡。如果两种激活函数在同一个网络中混合使用，可能需要分层处理初始化。 接下来，我需要参考用户提供的引用内容。引用[4]提到在构建多层网络时，不同激活函数配合不同的初始化方法会影响激活值的分布。例如，使用He初始化（Kaiming）配合ReLU，而Xavier配合Sigmoid，这可能更有效。因此，如果网络的不同层使用不同激活函数，对应层应该使用适合该激活函数的初始化方法。 此外，用户之前的回答中已经提到错误使用初始化的后果，比如ReLU用Xavier会导致梯度消失，Sigmoid用Kaiming会导致过早饱和。因此，混合使用时必须避免这种情况，需要为每个层选择合适的初始化。 另外，用户可能需要考虑网络整体的稳定性。例如，隐藏层用ReLU和Kaiming，而输出层用Sigmoid和Xavier，这样各层各自优化，确保信号传播的正确性。同时，可以结合批量归一化（Batch Normalization）来进一步稳定训练，减少对初始化的依赖。 还要考虑实际框架中的实现方式，比如在PyTorch或TensorFlow中如何分层设置初始化。例如，在定义每一层时，手动指定对应的初始化方法，或者在构建网络时自动根据激活函数选择。 最后，需要验证这种分层初始化的有效性，比如通过实验观察各层的激活值分布是否合理，是否避免了梯度消失或爆炸的问题。可能还需要调整学习率，因为不同的初始化方法可能对学习率敏感，尤其是当混合使用时。</think>--- ### **同时使用ReLU与Sigmoid时的权重初始化策略** 在神经网络中同时使用ReLU和Sigmoid激活函数时（例如，隐藏层用ReLU，输出层用Sigmoid），需根据**各层的激活函数特性**选择对应的初始化方法，确保信号传播的稳定性和训练效率。以下是具体策略： --- #### **一、分层初始化：按激活函数类型匹配** 1. **隐藏层（ReLU）**： - **推荐方法**：**Kaiming/He初始化**（正态或均匀分布） - **原因**：ReLU的负半轴归零特性会导致前向传播中**方差减半**，Kaiming初始化通过调整权重方差（$\sigma_w = \sqrt{2/n_{in}}$）补偿这一损失，保持输入输出方差一致[^1][^4]。 - **错误后果**：若使用Xavier初始化，深层网络可能因方差衰减出现**梯度消失**。 2. **输出层（Sigmoid）**： - **推荐方法**：**Xavier/Glorot初始化**（正态或均匀分布） - **原因**：Sigmoid的饱和性和非零中心化输出需要平衡输入输出方差（$\sigma_w = \sqrt{2/(n_{in} + n_{out})}$），避免梯度过早趋近于零[^2][^3]。 - **错误后果**：若使用Kaiming初始化，输入值易进入Sigmoid的**饱和区**（如绝对值过大），导致梯度消失和训练停滞。 --- #### **二、代码实现示例（PyTorch）** ```python import torch.nn as nn class MixedActivationNet(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super().__init__() # 隐藏层：ReLU + Kaiming初始化 self.fc1 = nn.Linear(input_dim, hidden_dim) nn.init.kaiming_normal_(self.fc1.weight, mode='fan_in', nonlinearity='relu') # 输出层：Sigmoid + Xavier初始化 self.fc2 = nn.Linear(hidden_dim, output_dim) nn.init.xavier_normal_(self.fc2.weight, gain=1.0) # gain=1适配Sigmoid def forward(self, x): x = torch.relu(self.fc1(x)) x = torch.sigmoid(self.fc2(x)) return x ``` --- #### **三、混合使用的注意事项** 1. **批量归一化（BatchNorm）的辅助作用**： - 在隐藏层后添加`BatchNorm`层，可进一步稳定输入分布，减少对初始化的敏感度[^4]。 - 例如： ```python self.bn = nn.BatchNorm1d(hidden_dim) # 添加在ReLU之后 ``` 2. **学习率调整**： - ReLU与Sigmoid的梯度范围差异较大（ReLU梯度为0或1，Sigmoid梯度最大0.25），建议为输出层设置**更低的学习率**，防止Sigmoid层参数更新过快。 3. **梯度检查**： - 训练初期监控各层梯度幅值，确保ReLU层梯度未消失（如梯度幅值接近0），Sigmoid层未饱和（如输入绝对值远大于5）。 --- #### **四、实验验证** 通过可视化激活值分布验证初始化效果（引用[4]的方法）： - **ReLU层**：激活值应集中在正区间，避免大量神经元死亡（全零输出）。 - **Sigmoid层**：输入值应分布在$[-3, 3]$区间内，避免进入饱和区（如$|x|>5$时梯度接近0）。 --- #### **五、扩展问题** 1. 如何为Transformer模型中混合使用的GELU和Sigmoid设计初始化策略？ 2. 残差网络（ResNet）中跳跃连接如何影响初始化方法的选择？ 3. 自注意力机制中的权重初始化是否需要特殊处理？ --- ### **总结** | 层类型 | 激活函数 | 初始化方法 | 目标 | |----------|----------|------------------|--------------------| | 隐藏层 | ReLU | Kaiming/He初始化 | 补偿方差衰减 | | 输出层 | Sigmoid | Xavier/Glorot初始化 | 平衡梯度，避免饱和 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值