LeakyReLU激活函数

原创

已于 2023-10-16 14:01:11 修改 · 1.3w 阅读

49 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

于 2023-10-07 20:38:38 首次发布

文章介绍了PyTorch中LeakyReLU函数的构成、常见用法以及图像实现，强调了其在处理负数梯度和深度学习中的作用。

nn.LeakyReLU 是PyTorch中的Leaky Rectified Linear Unit（ReLU）激活函数的实现。Leaky ReLU是一种修正线性单元，它在非负数部分保持线性，而在负数部分引入一个小的斜率（通常是一个小的正数），以防止梯度消失问题。这种激活函数的数学表达式如下：
在这里插入图片描述
negative_slope：x为负数时的需要的一个系数，控制负斜率的角度。默认值：1e-2(0.01)

在这里插入图片描述

1.nn.LeakyReLU的函数构成

nn.LeakyReLU 是PyTorch中的Leaky Rectified Linear Unit（ReLU）激活函数的实现，它是torch.nn.Module的子类。下面是 nn.LeakyReLU 类的主要构成部分和参数：

class nn.LeakyReLU(negative_slope=0.01, inplace=False)

构造函数参数：

negative_slope（默认为0.01）：这是Leaky ReLU激活函数的负斜率，即在输入值为负数时的斜率。它是一个浮点数，通常设置为一个小的正数，以控制在负数区域的线性部分的斜率。较小的值会导致更线性的行为，较大的值会导致更接近传统ReLU的行为。
inplace（默认为False）：如果设置为True，则会在原地修改输入张量，否则将创建一个新的张量作为输出。原地操作可以节省内存，但可能会改变输入张量的值。

nn.LeakyReLU 在前向传播时将输入张量中的负值部分乘以 negative_slope，从而实现Leaky ReLU激活函数的效果。它通常用于深度神经网络中，以缓解梯度消失问题，并引入非线性变换。

在PyTorch中，我们可以使用nn.LeakyReLU类来创建Leaky ReLU激活函数，并可以通过参数来设置斜率。

2.nn.LeakyReLU的常见用法

以下是使用nn.LeakyReLU的一些常见用法：

创建Leaky ReLU激活函数层：

import torch.nn as nn

# 创建一个Leaky ReLU激活函数层，斜率为0.2（可以根据需要进行调整）
leaky_relu = nn.LeakyReLU(0.2)

对张量应用Leaky ReLU激活函数：

import torch

# 创建一个示例输入张量
input_tensor = torch.te

最低0.47元/天解锁文章