激活函数GELU()

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 420平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄19年

关注

转载最新推荐文章于 2026-04-21 09:42:43 发布 420 阅读 AI 写同款· GEO 优化 ›

GELU激活函数 相较于 ReLU 函数，GELU 函数在负值区域又一个非零的梯度，从而避免了死亡神经元的问题。值得注意的是，GELU 的计算比较复杂，因此需要消耗更多的计算资源。GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。GELU是一种常见的激活函数，全称为“Gaussian Error Linear Unit”, 作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。阅读详情

写的第一形象的有论文

从ReLU到GELU，一文概览神经网络的激活函数

写的第二形象的有论文

GELU 激活函数_乐享极客-优快云博客_gelu

“瘦身成功”的ALBERT，能取代BERT吗？_com

GELU激活函数详解 - 知乎

收录于

NLP

当前文章被收录于：

NLP

247 篇文章 4 人学习

订阅专栏查看详情

tensorflow

当前文章被收录于：

tensorflow

77 篇文章 1 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#python #keras

原文链接：https://www.sohu.com/a/382119060_610300>

【激活函数】GELU 激活函数 GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。阅读详情

相关推荐

GELU 激活函数

Gaussian Error Linerar Units(GELUS) 论文链接：https://arxiv.org/abs/1606.08415 最近在看bert源码，发现里边的激活函数不是Relu等常见的函数，是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。不管其他领域的鄙视链，在激活函数领域，大家公式的鄙视链应该是：Elus &amp;amp;amp;gt; Relu &amp;amp;amp;gt; Sigmoid ...

乐享极客 9万+

激活函数：GELU（Gaussian Error Linear Units）

PyTorch、人工智能、深度学习、激活函数

FriendshipTang的博客 5548

深度学习中的gelu激活函数详解

论文：gaussian error linear units (一)、什么是gelus激活函数? gelus（gaussian error linear units）就是我们常说的高斯误差线性单元，它是一种高性能的神经网络激活函数，公式如下：(1)xP(X≤x)=xΦ(x){xP(X \le x)=x\Phi(x)}\tag{1}xP(X≤x)=xΦ(x)(1)计算结果大约为:(2)0.5x(1+...

sinat_36618660的博客 2万+

神经网络激活函数（六）：GELU

其中Φ(x)是标准正态分布的累积分布函数。概率理论基础：基于随机正则化的数学原理，有坚实的理论支撑平滑非线性：在所有点可微，提供稳定的梯度流自适应激活：根据输入大小自动调整激活强度实践验证：在Transformer等顶尖模型中广泛验证数值稳定性：避免ReLU的硬边界问题和死亡神经元现象。

limenga102的专栏 1809

常用的激活函数Sigmoid,ReLU,Swish,Mish,GELU

Sigmoid激活函数在我们的网络模型中比较常用，也常作为二分类任务的输出层，函数的输出范围为（0,1）

liguiyuan的博客 1万+

[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish

FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。在公式中，首先将输入向量 x 通过一个全连接层（线性变换）得到一个与 x 维度相同的向量，然后将该向量通过Sigmoid函数进行激活。在公式中，Swish函数首先对输入向量 x 进行一个非线性变换，然后通过Sigmoid函数进行激活，并将该激活结果与输入向量 x 逐元素相乘，得到最终的输出值。

Bin_Dut的博客 6066

GELU()更适合NLP任务的激活函数

Gelu（）自然语言处理NLP激活函数

u013373155的博客 1758

深入理解GELU激活函数：从原理到应用

GELU激活函数是由Dan Hendrycks和Kevin Gimpel在2016年提出的，它是一种基于高斯分布的非线性激活函数。GELU可以视为介于ReLU和Sigmoid/Tanh激活函数之间的折衷方案，它结合了ReLU的非饱和特性和Sigmoid/Tanh的平滑特性。GELUxxΦxGELUxxΦx其中，Φx\Phi(x)Φx是输入xxxΦx0.51erfx2Φx0.51erf2x这里，erf\text{erf}erf。

qlkaicx的博客 4483

线性与非线性【在nn.Linear() 后使用激活函数就变为了非线性】

因为 nn.Linear() 实质上是一个线性变换操作，只有激活函数的添加才能使得输出非线性化。总之，使用 nn.Linear() 配合激活函数可以构建非线性深度神经网络，从而拟合更加复杂的数据分布和函数关系，提高分类和预测的准确性。代码的类名为“非线性”，我看了一下，就是nn.Linear() 与激活函数的叠加，我寻思nn.Linear() 不是线性层吗？在神经网络中，一般通过激活函数将线性变换的结果进行非线性化，进而增加模型的表达能力。如果没有使用激活函数，那么多个线性层堆叠起来也仍然是一个线性变换。

Drug discovery 1428

Transformer实战（11）——从零开始构建GPT模型

GPT-2 是由 OpenAI 开发的大语言模型 (LLM)。它标志着自然语言处理 (NLP) 领域的一个重要里程碑，并为更复杂的模型的发展奠定了基础。在本节中，我们将学习如何从零开始构建 GPT-2XL，这是 GPT-2 的最大参数量版本。之后，从 Hugging Face 提取预训练的权重，并将其加载到自定义的 GPT-2 模型中。使用自定义 GPT-2 模型输入提示 (prompt) 来生成文本。此外，我们可以通过使用温度 (temperature) 参数和 top-K 采样来控制生成文本的创意性。

盼小辉丶的博客 9205

PyTorch实战（10）——从零开始实现GPT模型

盼小辉丶的博客 3466

pytorch学习

nn.LayerNorm, einops.repeat, chunk, nn.GELU()

ruichuang2的博客 796

从零到一：基于GeneMark-ES/ET的新基因组注释实战指南

本文提供了一份基于GeneMark-ES/ET的新基因组注释实战指南。详细介绍了从环境搭建、数据准备到核心运行的全流程，重点解析了ES（从头预测）与ET（结合RNA-Seq证据）两种模式的选择与操作，并分享了Perl模块依赖、并行处理等常见问题的解决方案，帮助生物信息学研究者高效完成基因预测工作。

weixin_29266647的博客 209

激活函数总结（sigmoid、tanh、RELU、LRel、PReLU、ELU、GELU和SELUS）

sigmoid函数特点：函数值介于（0，1）之间，x在负无穷和正无穷之间。缺点： 1、有饱和区域，是软饱和，在大的正数和负数作为输入的时候，梯度就会变成零，使得神经元基本不能更新。 2、只有正数输出（不是zero-centered），这就导致所谓的zigzag现象 3、计算量大（exp） tanh(x) 函数值介意（-1，1）之间。tanh和sigmoid函数是具有一定的关系的，可以从公式...

qq_41627642的博客 5425

Mplus—随机截距交叉滞后模型（RI-CLPM）语法

随机截距交叉滞后模型RI-CLPM的Mplus语法。

m0_54401011的博客 2530

Opencv实战：答题卡自动识别与评分系统（附完整代码解析）

本文详细介绍了如何使用OpenCV实现答题卡自动识别与评分系统，包含完整的代码解析。通过图像预处理、边缘检测、透视变换和答案识别等关键技术，系统能够快速准确地完成阅卷工作，适用于学校考试、资格认证等多种场景，大幅提升工作效率。

weixin_33737134的博客 415

Sigmoid，tanh，Relu，Leaky ReLu，ELU，GeLu 激活函数理解

为什么需要激活函数？ Sigmoid tanh Relu Leaky Relu Rectifier Nonlinearities Improve Neural Network Acoustic Models Elu FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS Gelu GAUSSIAN ERROR LINEAR UNITS (GELUS) 参考文献添加链接描述添加链接描述 ......

BGoodHabit的博客 9959

Jetson设备EXT4文件系统修复实战：从superblock损坏到系统恢复

本文详细介绍了Jetson设备因异常断电等原因导致EXT4文件系统superblock损坏后的诊断与修复实战。通过从健康设备移植fsck工具、使用备份超级块等步骤，指导用户逐步恢复系统，并提供了数据备份与预防措施，帮助用户有效应对嵌入式AI开发中的存储故障。

theta的博客 592

GELU 激活函数详细介绍

GELU（Gaussian Error Linear Unit，高斯误差线性单元）是由Dan Hendrycks和Kevin Gimpel于2016年提出的一种非线性激活函数，广泛用于Transformer模型（如BERT、GPT）。其公式为GELU(x) = x · Φ(x)，其中Φ(x)是标准正态分布的累积分布函数（CDF）。实际实现常用erf近似：GELU(x) ≈ 0.5 x (1 + erf(x/√2))，或sigmoid快速版x · σ(1.702x)，确保平滑性和计算效率。图形上，GE

彬彬侠的博客 6401

MS建模mmt

一、流程：1.定义好每个原子力场类型：Edit Sets（分组） 2.加H（一般是仅与Al-O八面体中的Al相连的O原子）、给H分组 3.“make P1”、校核化学式（正确与否） 4.扩成超晶胞（Na-mmt：4*1*1，Ca-mmt：4*2*1，illite：2*1*1，由化学式而定） 5.置换阳离子： mmt：模型中每 32 个 Si 4+有 1 个被 Al 3+ 取...