从ReLU到GELU，一文概览神经网络的激活函数

最新推荐文章于 2025-09-04 10:25:02 发布
转载 最新推荐文章于 2025-09-04 10:25:02 发布 · 303 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://baijiahao.baidu.com/s?id=1653421414340022957&wfr=spider&for=pc

这篇博客详细探讨了人工智能算法在信息技术领域的应用，重点讲解了如何作为人工智能算法标注工程师进行高效的工作。内容涵盖从数据预处理到模型训练，再到结果评估的全过程，并强调了在实际项目中数据质量和标注准确性的重要性。
激活函数选择：从ReLU到GELU的演变
AI天才研究院
10-28 1100
激活函数是神经网络中的一个关键组件，它作用于神经网络的每个神经元，决定该神经元是否被激活。简单来说，激活函数将神经元的输入映射到一个二元值（通常是0或1），这个值决定了神经元是否被激活。定义与分类：线性激活函数将输入直接映射到输出，没有引入非线性。常见的线性激活函数包括线性函数( f(x) = x )和恒等函数( f(x) = x )。非线性激活函数为神经网络引入了非线性特性，使得神经网络能够拟合复杂的非线性函数。常见的非线性激活函数包括Sigmoid、Tanh、ReLU等。
第1.2章 神经网络中隐藏层、偏置单元、激活函数的作用（使用激活函数的原因）
dear_jing的博客
10-17 1万+
这篇文章主要是对上一篇文章中所给例题中部分知识点的讲解
从ReLU到GELU，一文概览神经网络的激活函数.zip
12-21
从ReLU到GELU，一文概览神经网络的激活函数（https://mp.weixin.qq.com/s/pA9JW75p9J5e5KHe3ifcBQ），除上述外，本文还提供了若干相应的支撑论文。
【深度学习基础之激活函数】ReLU、ReLU6 和 GELU 是三种常见的激活函数，它们各自的特点、优缺点和适用场景你了解多少呢？
985小水博的摸鱼日常
12-24 1714
【深度学习基础之激活函数】ReLU、ReLU6 和 GELU 是三种常见的激活函数，它们各自的特点、优缺点和适用场景你了解多少呢？
gelu和relu的区别?
最新发布
mayaohao的博客
09-04 323
ReLU：是一种分段线性函数，定义为 \(f(x) = \max(0, x)\) 即当输入\(x \geq 0\)时输出x，当\(x < 0\)时输出 0。GELU。
GELU激活函数
qq_41296039的博客
04-14 2万+
相较于 ReLU 函数，GELU 函数在负值区域又一个非零的梯度，从而避免了死亡神经元的问题。值得注意的是，GELU 的计算比较复杂，因此需要消耗更多的计算资源。GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。GELU是一种常见的激活函数，全称为“Gaussian Error Linear Unit”, 作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。
转载-从ReLU到GELU，一文概览神经网络的激活函数
Toby的博客
05-13 1261
选自mlfromscratch 作者：Casper Hansen 机器之心编译 在计算每一层的激活值时，我们要用到激活函数，之后才能确定这些激活值究竟是多少。根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值。但在将该值发送给下一层之前，我们要使用一个激活函数对这个输出进行缩放。本文将介绍不同的激活函数。 在阅读本文之前，你可以阅读我前一篇介绍神经网络中前向传播和反向传播的文章，其中已经简单地提及过激活函数，但还未介绍其实际所做的事情。本文的内容将建立在你已了解前一篇文章.
深度解析ReLU到GELU的神经网络激活函数
标题“从ReLU到GELU，一文概览神经网络的激活函数.zip”涉及到的内容涵盖了神经网络中非常重要的一个概念——激活函数（Activation Function）。激活函数在神经网络中起着至关重要的作用，它负责添加非线性因素到...
学习笔记三：深度学习DNN
m0_64375823的博客
11-23 1956
文章目录一、BP神经网络1.1 为何要引出BP神经网络1.2 BP神经网络基本原理1.3 神经网络的多分类1.4 二分类使用softmax还是sigmoid好？1.6度量学习二、神经网络调优2.1 激活函数得选型 一、BP神经网络 1.1 为何要引出BP神经网络 逻辑回归对于如今越来越复杂的任务效果越来越差，主要是难以处理线性不可分的数据，LR处理线性不可分，一般是特征变换和特征组合，将低维空间线性不可分的数据在高维空间中线性可分 改良方式有几种，本质上都是对原始输入特征做文章。但都是针对特定场景设计。如
gelu relu
mayaohao的博客
07-15 572
在实际应用中，GELU 通常能提供更好的模型表达能力，但计算开销也更大。选择时需权衡任务需求和计算资源。
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 1万+
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
激活函数之ReLU函数
热门推荐
tian_panda的博客
08-27 9万+
0 前言 激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层就相当于矩阵相乘。每一层输出都是上层的输入的线性函数，无论神经网络多少层，输出都是输入的线性组合，就是最原始的感知机 加入激活函数，给神经元引入非线性因素，神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 1 激活函数之ReLU函数 ReLU函数是目前比较火的一个激活函数,函数公式：，函...
ReLU、GELU、GEGLU激活函数对比
LINJOSHUA的专栏
08-05 1147
ReLU、GELU 和 GEGLU 是深度学习中常用的激活函数，它们的核心区别主要体现在非线性变换的方式、数学形式以及对模型性能的影响上。
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
Bin_Dut的博客
04-02 5671
FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。在公式中，首先将输入向量 x 通过一个全连接层（线性变换）得到一个与 x 维度相同的向量，然后将该向量通过Sigmoid函数进行激活。在公式中，Swish函数首先对输入向量 x 进行一个非线性变换，然后通过Sigmoid函数进行激活，并将该激活结果与输入向量 x 逐元素相乘，得到最终的输出值。
学习笔记 激活函数 ReLU,GELU, SELU ...
weixin_43791477的博客
05-19 6073
学习笔记 激活函数 ReLU,GELU, SELU ...
Relu、Leaky Relu和Gelu的异同和优劣
AI生成曾小健3
07-30 1175
激活函数计算复杂度负区间梯度平滑性应用场景优缺点简述ReLU低0断点不连续通用大多数神经网络快速简单，但有死神经元问题Leaky ReLU低非零小斜率断点不连续卷积神经网络（CNN）、生成对抗网络（GAN）解决死神经元问题，训练稳定性更好GELU高非零且平滑平滑连续复杂模型，尤其是NLP变换器模型（BERT/GPT）表现最好，拟合能力强但计算量大。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值