饱和非线性（saturating nonlinearities）和非饱和非线性（non-saturating nonlinearities）的区别

最新推荐文章于 2025-04-07 14:35:58 发布
最新推荐文章于 2025-04-07 14:35:58 发布
阅读量5.5k 收藏 19
点赞数 9
分类专栏： 卷积神经网络 文章标签： 卷积神经网络 非线性激活函数

在论文《 ImageNet Classification with Deep Convolutional Neural Networks》中描述激活函数时，用了饱和非线性函数和非饱和非线性函数的区别。这里在这里描述其差别。

  1. 直观理解
    饱和激活函数会压缩输入值。
  2. 定义
    在这里插入图片描述
  3. 举例
    对于Rectified Linear Unit (ReLU)激活函数f(x) = max(0, x)，当x趋于正无穷则f(x)也趋于正无穷。所以该函数是非饱和的。
    在这里插入图片描述
    sigmoid函数的范围是[0, 1]所以是饱和的。
    在这里插入图片描述
    tanh函数也是饱和的，因为其取值范围为[-1,1]。
    在这里插入图片描述

本文是下面链接的翻译：英文原文

Matlab 饱和函数（Saturation Function）
PixelInk的博客
09-04 3811
饱和函数可以将输入值限制在一个特定的范围内，常用于信号处理、控制系统和神经网络等领域。通过绘制输入值和输出值的图形，我们可以直观地观察饱和函数的行为。它可以将输入值限制在一个特定的范围内，超出该范围的值将被截断或映射到边界值。饱和函数的一种常见形式是阶梯函数，也称为阈值函数。阶梯函数将输入值限制在一个阈值范围内，小于阈值的值被映射为最小边界值，大于阈值的值被映射为最大边界值。输入值在最小边界值和最大边界值之间时，输出值等于输入值。的大小，函数使用条件判断语句将其映射到最小边界值或最大边界值，或者保持不变。
自动控制饱和非线性描述函数
12-27
此函数用来演示自动控制系统中的饱和非线性特性的描述函数,此函数是要调用输入的A矩阵中的元素.
饱和非线性、非饱和非线性
学无止境、积少成多、厚积薄发
09-09 2715
论文AlexNet中提到饱和非线性、非饱和非线性神经元 1、先说一下线性和和非线性 线性linear，指量与量之间按比例、成直线的关系，在数学上可以理解为一阶导数为常数的函数； 非线性non-linear，指不按比例、不成直线的关系，一阶导数不为常数。 线性的可以认为是1次曲线，比如y=ax+b ,即成一条直线。 非线性的可以认为是2次以上的曲线，比如y=ax2+bx+c，即不为直线的即可。 参考： https://zhidao.baidu.com/question/710966855200385565.h
ML：Sigmoid 饱和函数
最新发布
mzhan017的博客
04-07 417
当输入值 ( x ) 很小时， ( e^{-x} ) 会趋向于无穷大，导致 ( \sigma(x) ) 接近于0。在这些极端情况下，函数的输出变化非常小，即进入了饱和状态。总的来说，这篇论文确实非常重要，因为它为神经网络的计算能力提供了理论证明，并且在计算理论和人工智能领域产生了深远的影响。当 ( \sigma(x) ) 接近于0或1时，导数 ( \sigma’(x) ) 也会非常小，这进一步解释了饱和现象。理论基础：这篇论文为神经网络的理论基础提供了重要的贡献，帮助研究人员理解神经网络的潜力和局限性。
饱和非线性和非饱和非线性
qq_38410428的博客
09-05 3584
ImageNet Classification with Deep Convolutional Neural Networks第三节解释了他们使用的卷积神经网络架构。 饱和非线性 饱和的激活函数会将输出结果缩放到有限的区间： sigmoid激活函数的范围是[0, 1]，所以它是饱和的 tanh激活函数的范围是[-1,1]，所以它是饱和的。 非饱和非线性 非饱和的激活函数会将输出结果缩放到无穷区...
饱和非线性（saturating nonlinearity）和非饱和非线性（non-saturating nonlinearity）
CCC的专栏
02-09 4542
在AlexNet论文《 ImageNet Classification with Deep Convolutional Neural Networks》第3节中提到了饱和非线性（saturating nonlinearity）和非饱和非线性（non-saturating nonlinearity）的概念，这里做一个解释。 定义 直观定义：一个饱和的激活函数会将输出结果压缩到有限的区间。 如果函数...
saturating nonlinearities 饱和非线性
家家的专栏
07-29 4268
Saturating Nonlinearities  From:http://wenku.baidu.com/link?url=sU30uv3Z6XMBpK0rS8bTOSigUGdfANPz5mVZa9qzfJtis257ivGREEKj_NWLB4OAHZPhWGWKV7lPYuwNifHPA5FR-N3TKQhd-8-uYOuZVjm
AlexNet论文翻译（中英文对照版）-ImageNet Classification with Deep Convolutional Neural Networks
bigcindy的博客
04-15 5299
ImageNet Classification with Deep Convolutional Neural Networks 深度卷积神经网络的ImageNet分类 Alex Krizhevsky University of Toronto 多伦多大学 kriz@cs.utoronto.ca Ilya Sutskever Univ...
论文笔记-Batch Normalization
热门推荐
JiangV的博客
06-17 1万+
Batch Normalization：减弱 internal covariate shift，使训练加快，并且可以不再用dropout和LRN。
论文-阅读翻译理解笔记-Batch Normalization Accelerating Deep Network Training by Reducing Inter
塞北战斗民族的博客
06-05 942
Abstract：当前神经网络层之前的神经网络层的参数变化，引起神经网络每一层输入数据的分布产生了变化，这使得训练一个深度神经网络（DeepNeural Networks）变得复杂。这样就要求使用更小的学习率，参数初始化也需要更为谨慎的设置。并且由于非线性饱和（注：如sigmoid激活函数的非线性饱和问题），训练一个深度神经网络会非常困难。我们称这个现象为：internal covariate s...
文献阅读 - Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
Always On The Way
03-01 883
参考文献：Ioffe S , Szegedy C . Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[J]. 2015. 摘要（Abstract） 由于训练过程中各层输入的分布随前一层参数的变化而变化，使得深度神经网络的训练变得复杂，同时也导致学习率较低、初始参...
Batch Normalization
12-17
This slows down the training by requiring lower learning rates and careful parameter initialization, and makes it notoriously hard to train models with saturating nonlinearities. We refer to this ...
自动控制原理-第八章-非线性控制系统分析
qq_45656500的博客
04-14 3953
1.自激振荡：无外作用时，非线性系统内部产生的稳定的等幅振荡。 2.线性系统特征：具有可叠加性和齐次性（也是线性和非线性的本质区别）。 非线性系统特征： ①稳定性分析复杂 可能存在多个平衡状态，各个状态可能稳定也可能不稳定，稳定性与系统的结构和参数有关，并且与初始条件和外加输入有关。 ②自激振荡 线性系统不会产生自激振荡。 ③频率相应发生畸变 非线性系统在正弦信号作用下输出复杂，可能存在跳跃谐振，多值响应，分频振荡，倍频振荡。 3.非线性系统的分析方法：相平面法、描述函数法、逆系统法。
具有典型非线性特性的二阶系统的相轨迹（1）
摸鱼达人的博客
01-06 1999
饱和特性、死区特性、变增益特性
自控原理学习笔记-反馈控制系统的动态模型（5）-非线性环节描述函数（动态模型思维导图）
Miracle Fan的博客
03-12 6976
本篇学习笔记讲述了典型的几种非线性环节、描述函数以及部分典型环节的公式推导
自动控制原理 第七章（非线性控制系统分析）
Zevalin的博客
12-07 2659
（1）非线性是宇宙间的普遍规律。（2）非线性系统的运动形式多样，种类繁多。（3）线性模型是实际系统在特定条件下的近似描述。
Activation Function 激活函数 ---非饱和激活函数
weixin_45646640的博客
03-30 788
Activation Function 非饱和激活函数
MIDAS GTS NX在高边坡工程中的应用
m0_69812751的博客
06-24 6467
MIDAS GTS NX在高边坡工程中的应用
flac3d非饱和土降雨的代码
03-28
### FLAC3D中非饱和土壤降雨入渗的模拟 在FLAC3D中，模拟非饱和土壤的行为通常涉及定义材料特性以及水力传导函数和水分保留曲线。这些参数可以通过内置命令设置来描述土壤的渗透性和吸湿能力。以下是基于提供的引用内容和其他专业知识构建的一个典型代码示例。 #### 材料特性的设定 为了模拟非饱和土壤在降雨条件下的行为，需要定义以下关键参数： - **初始孔隙压力**：通过`zone initialize pore-pressure`命令指定。 - **水分保持曲线**：使用Van Genuchten模型或其他适用模型。 - **渗透系数**：随含水量变化而改变。 ```python model new model large-strain off fish automatic-create off ; Define material properties for unsaturated soil material property density=1900 bulk=8e7 shear=4e7 ... permeability-x=1e-10 permeability-y=1e-10 permeability-z=1e-10 ... ; Set initial conditions (pore pressure) zone initialize pore-pressure gradient 0 0 -1000 range z 0 10 ; Boundary condition setup boundary fluid fix pore-pressure range zmax 0 boundary fluid velocity-normal -1e-6 range zmin 0 ; Rainfall infiltration at top surface ; Solver settings solve ratio-local 1e-5 ``` 上述代码片段展示了如何初始化孔隙压力并施加边界条件以模拟降雨入渗过程[^1]。顶部表面设置了恒定流速作为降雨输入，底部则固定了孔隙压力。 #### 关于扩散模型的应用扩展 尽管当前问题是关于FLAC3D的具体应用，但从更广泛的视角来看，现代机器学习方法也可以辅助此类物理仿真任务。例如，在引用[2]提到的工作中，DP3利用多层感知机(MLP)编码器处理三维点云数据，并生成连续动作序列。这种方法可以被借鉴用来优化复杂地质结构建模中的某些环节。 此外，考虑到GAN架构及其变种形式（如引用[3]-[5]所讨论的内容），它们可能有助于改进传统数值分析工具无法轻易捕捉的现象学特征。比如，采用非饱和损失(non-saturating loss)[^4]能够改善训练稳定性，从而更好地拟合实际观测到的数据分布模式。 #### 注意事项 需要注意的是，以上给出的例子仅作为一个基础框架供参考；具体项目实施时还需要依据实际情况调整各项参数值，并验证其合理性与准确性。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值