torch.nn.GELU

最新推荐文章于 2025-10-24 20:37:10 发布
原创 最新推荐文章于 2025-10-24 20:37:10 发布 · 1w 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习

本文介绍了PyTorch中的GELU激活函数，它在神经网络中常用于提供平滑的非线性。GELU函数与误差函数（ERF）相关，后者在概率、统计和偏微分方程等领域有广泛应用。误差函数的一个统计学解释是，对于正态分布的随机变量，ERF给出了变量落在特定区间内的概率。互补误差函数ERFC则是ERF的补函数。在深度学习中，GELU因其平滑特性而被用作sigmoid和ReLU的替代选择。
部署运行你感兴趣的模型镜像

m = nn.GELU()
input = torch.randn(2)
output = m(input)

在这里插入图片描述

误差函数图
在数学中，误差函数(亦称高斯误差函数)，通常表示为ERF，是一个复变量的复函数，定义为：

erf ⁡ z = 2 π ∫ 0 z e − t 2   d t . \displaystyle \operatorname {erf} z={\frac {2}{\sqrt {\pi }}}\int _{0}^{z}e^{-t^{2}}\,dt. erfz=π ​2​∫0z​e−t2dt.
这个积分是特殊(非-初等) sigmoid中经常出现的函数。概率, 统计，和偏微分方程。在许多这些应用程序中，函数参数是实数。如果函数参数是实的，那么函数值也是实的。
在统计学上，对于非负值x，错误函数具有以下解释：随机变量 Y那是正态分布带着平均0和标准差 1/√2, ERFx是概率Y落在范围[−x, x]内.
两个密切相关的函数是互补误差函数 (ERFC)定义为
erfc ⁡ z = 1 − erf ⁡ z . \displaystyle \operatorname {erfc} z=1-\operatorname {erf} z. erfcz=1−erfz.

在这里插入图片描述
参考链接：https://pytorch.org/docs/stable/generated/torch.nn.GELU.html?highlight=gelu
https://en.wikipedia.org/wiki/Error_function
https://blog.youkuaiyun.com/qq_40945404/article/details/110497682

您可能感兴趣的与本文相关的镜像

PyTorch 2.8

PyTorch 2.8

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

GELU
jacke121的专栏
12-30 4830
GELU 这个函数特别占内存,计算量很大，对检测有帮助,收敛比relu6快 但是最高精度没有relu6高 梯度最大在第一层卷积层 类： #!/usr/bin/env python3 # -*- coding: utf-8 -*- import torch import math from torch import nn from torch.nn import functiona...
【深度学习】GELU激活函数是什么？
q742971636的博客
06-17 2326
应用 GELU 激活函数。GELUxx⋅ΦxGELUxx⋅Φx其中Φx\Phi(x)Φx是标准正态分布的累积分布函数。
pytorch 的GELU激活函数实现
w137093940的博客
01-17 1万+
import torch import torch.nn as nn import torch.nn.functional as F import numpy as np from matplotlib import pyplot as plt class GELU(nn.Module): def __init__(self): super(GELU, self).__init__() def forward(self, x): return 0.5*..
【PyTorch】教程：torch.nn.GELU
03-16 8285
高斯误差线性单元函数。
PyTorch 深度学习笔记（十一）：GELU 激活函数的高斯误差线性单元原理解析
最新发布
dsaqqwe的博客
10-24 390
GELU（Gaussian Error Linear Unit）激活函数是一种高效的非线性单元，广泛应用于 Transformer 模型（如 BERT）中。它通过结合高斯分布特性，在保留 ReLU 优点的同时，提供更平滑的梯度行为。GELU 的核心思想是模拟神经元激活的概率特性。它基于输入 $x$ 与标准正态分布的累积分布函数（CDF）相乘，从而引入随机正则化效果。如需进一步优化，可结合自定义梯度或混合激活函数实验。GELU 的数学定义涉及误差函数 $\text{erf}$，它表示标准正态分布的累积概率。
PyTorch学习笔记：nn.GELU——GELU激活函数
qq_50001789的博客
02-18 1万+
PyTorch学习笔记：nn.GELU——GELU激活函数 出自论文《GAUSSIAN ERROR LINEAR UNITS (GELUS)》 - 相比于ReLU，GELU函数在临近原点时梯度不为零，减少了训练过程中梯度消失的问题； - 导函数比较光滑，无间断情况，容易做反向传播； - RELU计算复杂度较低，同时具有良好的性能，常用于大规模训练的任务，例如BERT、GPT等等。
PyTorch中激活函数GELU、Swish、Mish函数的实现
qq_39332551的博客
05-26 5747
GELU的中文名为高斯误差线性单元，它在自然语言处理领域被广泛应用。GELU激活函数结合了激活参数1或0的取值概率和神经网络的激活值，使得神经网络的激活值越小，其所乘的激活概率为1的概率越小，以此保留概率性和对输入的依赖性。具体实现如下： def gelu(x): return 0.5*x*(1+tanh(np.sqrt(2/np.pi)*(x+0.044715*pow(x,3)))) Swish和Mish函数可以看作是GELU的一个特例，可以替换模型中现有的激活函数，使模型精度有所提高。实现
gelu
kyle1314608的博客
11-21 579
博客园 首页 新随笔 联系 管理 订阅 <div class="blogStats"> <!--done--> 随笔- 75  文章- 0  评论- 40  </div><!--end: blogStats --> </d...
torch.nn.functional
Rhett_Butler0922的博客
04-25 1059
优先使用torch.nn：如果你需要快速搭建标准模型，追求代码简洁性和参数管理的自动化。使用：当你需要更高的灵活性、自定义操作，或者在研究和调试中需要更细粒度的控制。激活函数为神经网络引入非线性，是深度学习模型的核心组成部分。F提供了多种激活函数，如 ReLU、Sigmoid、Tanh 等。卷积操作是卷积神经网络（CNN）的核心，用于特征提取。F提供了底层的卷积函数，如conv1dconv2dconv3d。池化操作用于下采样，减少特征图的尺寸，同时保留重要信息。F提供最大池化和平均池化等。
【Pytorch】torch.nn.functional模块中的非线性激活函数
weixin_62403234的博客
11-18 721
公式：leaky_relu(x) = x if x > 0 else alpha * x。公式：近似为：gelu(x) ≈ x * sigmoid(1.702 * x)公式：normalize(x) = x / max(||x||, eps)特点：小于阈值的数被置为设定值，大于等于阈值的数保持不变。公式：silu(x) = x * sigmoid(x)特点：修改原张量而不是生成新的张量，节省内存。公式：relu(x) = max(0, x)输出范围：(0, 1)，且所有输出的和为1。
Transformer源码分析（torch.nn.modules.Transformer.py）
永远鲜红の幼月的博客
07-06 3073
Pytorch中的torch.nn.modules.Transoformer.py源码分析 最近想换个思路用Transformer来做实验，但对于目前比较流行的Transformer实现还较为生疏，看到pytorch中有比较简单（主要依据17年的Attention Is All You Need论文编写，没有较大的改动）的实现方法，因此想拿来作为模板分析一下来加强对Transformer的理解......
torch.nn.Transformer
想做一只猫的博客
03-11 4987
文章目录TransformerTransformerEncoderTransformerDecoderTransformerEncoderLayerTransformerDecoderLayerMultiheadAttention Transformer def __init__(self, d_model: int = 512, nhead: int = 8, num_encoder_layers: int = 6, num_decoder_layers: int = 6, dim_feedfo
torch.nn模块不能代码补全
weixin_64064486的博客
04-26 1348
问题背景 torch1.6.0的版本在pycharm，nn.后没有自动补全的相关提示网上都说对于1.6.0版本的pytorch再pycharm里是没有办法自动补全的，因此这算是一个暂时恒定的bug。 分析原因 pycharm的自动提示是根据第三方包的每个文件夹下的__init__.pyi文件来显示的，只有__init__.pyi中import了的API才会被pycharm自动提示。 解决方法 需要生成__init__.pyi，文件内容如下： from .module import Module
torch.erf()/gelu()/误差函数科普
MiaLove
07-17 7743
erf() in Pytorch torch.erf(tensor, out=None) Computes the error function of each element. The error function is defined as follows:erf(x)=2π∫0xe−t2dterf(x)=\frac{2}{\pi}\int_0^xe^{-t^2}dterf(x)=π2​∫0...
用pytorch构造GELU激活函数
aihaiming2013的专栏
06-23 2023
因为一些原因必须使用python2+低版本的pytorch来跑代码，其中就遇到了低版本pytorch没有封装GELU激活函数的情况，所以在网上把该函数的源码找到了，自己构造了一个基于nn.Module的版本： 其中第一个注释掉了的return是gelu原文中提出的一种近似计算版本，而下面那一个是pytorch中封装的版本，实测第一种会和nn.GELU计算的值略有差异，因此使用第二种。...
[解决方法汇总] pytorch报错：‘GELU‘ object has no attribute ‘approximate‘
A_Student10000的博客
08-21 5299
使用yolo v5测试模型时，报错。
GELU激活函数
热门推荐
木盏
10-18 2万+
GELU是一种常见的激活函数，其图像与ReLU、ELU对比如下： 文章链接：https://arxiv.org/pdf/1606.08415.pdf
激活函数：GELU（Gaussian Error Linear Units）
FriendshipTang的博客
04-18 5166
PyTorch、人工智能、深度学习、激活函数
【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU
小李的研究生学习日记
03-03 8386
①激活函数：主要通过加入非线性因素，你不线性模型表达能力不足的缺陷，因为神经网络中的数学基础是处处可微分的函数，故要求激活函数也应该保证数据的输入与输出是可微分。 ②激活函数可以分为饱和激活函数与不饱和激活函数，激活函数的右饱和指当x xx趋向于正无穷时，函数的导数趋近于0。同样的，当x xx趋向于负无穷时，函数的导数趋近于0，此时称为左饱和。当一个函数既满足右饱和，又满足左饱和，则称为饱和函数，否则称为非饱和函数。 1 Sigmoid函数 对于分类任务来说，如果仅仅给出分类的结果，在某些场景下.
torch.nn.Tanh()
06-04
<think>我们之前讨论了`torch.nn.ReLU`的`inplace`参数，现在用户转向询问`torch.nn.Tanh`的用法以及与`inplace`操作的对比。用户的需求是了解`torch.nn.Tanh`的使用方法和与`inplace`操作的关系（因为之前讨论了ReLU的inplace，用户可能想比较Tanh是否也有inplace以及使用差异）。注意：用户在上次对话中我们详细介绍了ReLU的inplace=True，而Tanh也有inplace参数，但需要谨慎使用。我们需要介绍：1.`torch.nn.Tanh`的基本用法，包括公式、参数（特别是inplace）。2.与ReLU的inplace操作进行对比，指出异同。3.给出代码示例，包括正确使用方法和注意事项。4.性能比较（如果有数据，但一般Tanh的inplace节省内存效果类似，但计算速度可能因函数不同而略有差异）。5.生成相关问题。注意：Tanh的公式为：$$\text{Tanh}(x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}=\frac{\sinh(x)}{\cosh(x)}$$结构安排：一、`torch.nn.Tanh`详解1.数学公式和特性2.inplace参数的作用（同ReLU）二、使用示例（包括普通使用和inplace使用，并给出警告）三、与ReLU的inplace操作对比（相同点和不同点）四、性能数据（可选，如果没有则说明与ReLU类似，但函数计算更复杂）五、最佳实践六、相关问题注意：在PyTorch中，`torch.nn.Tanh`和`torch.nn.ReLU`一样，都有一个`inplace`参数，用于决定是否在原内存上进行操作。但是，由于Tanh函数的值域为(-1,1)，且输入为负时输出也为负，所以没有ReLU的“死亡神经元”问题，但同样需要小心inplace操作对原始数据的破坏。由于之前已经详细解释了inplace的原理和影响，这里可以简要说明，重点放在Tanh本身。</think> ### `torch.nn.Tanh` 详解与 PyTorch 激活函数指南 `torch.nn.Tanh` 是实现双曲正切函数的 PyTorch 模块，其数学定义为： $$ \text{Tanh}(x) = \frac{\sinh(x)}{\cosh(x)} = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$ #### 一、核心特性与用法 1. **输入输出关系** - **值域**：$(-1, 1)$ - **函数曲线**：S型曲线（类似 Sigmoid），但以 0 为中心 - **导函数**： $\text{Tanh}'(x) = 1 - \text{Tanh}^2(x)$ ```python # 基础用法示例 import torch tanh = torch.nn.Tanh() x = torch.tensor([-2.0, 0.0, 1.5]) y = tanh(x) # tensor([-0.9640, 0.0000, 0.9051]) ``` 2. **参数说明** | 参数 | 类型 | 默认值 | 作用 | |------|------|--------|------| | `inplace` | bool | False | 是否原位操作（节省内存） | ```python # inplace 操作（谨慎使用） tanh_inplace = torch.nn.Tanh(inplace=True) tanh_inplace(x) # 直接修改 x 的值 ``` 3. **应用场景** - RNN/LSTM 中的隐状态激活 - 生成对抗网络（GAN）的输出层 - 需要输出对称性的场景（如回归任务）[^1] #### 二、与 ReLU 的 `inplace` 对比 | 特性 | `nn.Tanh(inplace)` | `nn.ReLU(inplace)` | |------|-------------------|-------------------| | **梯度消失风险** | 较高（饱和区导数→0） | 较低（正区间导数=1） | | **内存节省率** | ≈40%[^2] | ≈40%-60%[^3] | | **安全限制** | 禁用：残差连接、梯度重用 | 禁用：残差连接、梯度重用 | | **典型适用层** | 循环层、输出层 | 卷积层、全连接层 | ```python # 安全使用 inplace 的通用模式 def forward(self, x): residual = x # ✅ 保存原始值 x = self.conv(x) x = nn.Tanh(inplace=True)(x) # ✅ 无后续原始值依赖 return x + residual # ✅ 正确使用残差 ``` #### 三、其他激活函数对比 | 函数 | 公式 | 值域 | 优势 | |------|------|------|------| | **Sigmoid** | $\sigma(x)=\frac{1}{1+e^{-x}}$ | (0,1) | 概率输出 | | **LeakyReLU** | $\text{LReLU}(x)=\begin{cases} x & x>0 \\ 0.01x & \text{otherwise} \end{cases}$ | $(-\infty, +\infty)$ | 缓解死亡神经元 | | **GELU** | $x \cdot \Phi(x)$（$\Phi$为标准正态CDF） | $(-\infty, +\infty)$ | 自适应激活 | #### 四、性能优化建议 1. **`inplace` 使用原则** - 仅当后续计算 **不依赖原始输入** 时启用 - 模块初始化时声明（非临时创建） ```python # 推荐方式（显存节省持续生效） self.tanh = nn.Tanh(inplace=True) # 在 __init__ 中定义 ``` 2. **替代方案** ```python # 1. 函数式接口（无状态） torch.tanh_(x) # 原位操作，等价于 nn.Tanh(inplace=True)(x) # 2. 内存共享（避免复制） y = x.tanh() # 新张量（默认） z = x # 共享内存 torch.tanh(x, out=z) # 结果写入 z（间接原位） ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值