nn.relu和F.rulu的区别

最新推荐文章于 2024-07-20 18:08:50 发布

不是吧这都有重名

最新推荐文章于 2024-07-20 18:08:50 发布

阅读量678

点赞数 8

CC 4.0 BY-SA版权

分类专栏： pytorch 文章标签：人工智能 pytorch 笔记

本文链接：https://blog.youkuaiyun.com/qq_41776136/article/details/134764378

pytorch 专栏收录该内容

8 篇文章

订阅专栏

文章详细解析了PyTorch中nn.ReLU模块的源码实现，强调了在forward方法中使用F.relu函数的原因，以及何时选择nn.Module和nn.functional.relu的依据，涉及训练时模型保存的注意事项.

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先来看看nn.ReLU的源码，可以看到其实在forward中nn.relu是调用了F.relu函数的：

class ReLU(Module):
    r"""Applies the rectified linear unit function element-wise:

    :math:`\text{ReLU}(x) = (x)^+ = \max(0, x)`

    Args:
        inplace: can optionally do the operation in-place. Default: ``False``

    Shape:
        - Input: :math:`(*)`, where :math:`*` means any number of dimensions.
        - Output: :math:`(*)`, same shape as the input.

    .. image:: ../scripts/activation_images/ReLU.png

    Examples::

        >>> m = nn.ReLU()
        >>> input = torch.randn(2)
        >>> output = m(input)


      An implementation of CReLU - https://arxiv.org/abs/1603.05201

        >>> m = nn.ReLU()
        >>> input = torch.randn(2).unsqueeze(0)
        >>> output = torch.cat((m(input),m(-input)))
    """
    __constants__ = ['inplace']
    inplace: bool

    def __init__(self, inplace: bool = False):
        super(ReLU, self).__init__()
        self.inplace = inplace

    def forward(self, input: Tensor) -> Tensor:
        return F.relu(input, inplace=self.inplace)

    def extra_repr(self) -> str:
        inplace_str = 'inplace=True' if self.inplace else ''
        return inplace_str

nn.ReLU()创建一个nn.Module，这意味着你可以添加到nn.Sequential中。而nn.functional.relu只是对 relu 函数API的调用。一般来说，用模块还是简单的函数调用，取决于你的编码风格。
在PyTorch中,nn.X都有对应的函数版本F.X，但是并不是所有的F.X均可以用于forward或其它代码段中，因为当网络模型训练完毕存储model时，forward中的F.X函数中的参数是无法保存的。也就是说，在forward中，使用的F.X函数一般均没有状态参数。