nn.Dropout随机丢神经元的用法

两只蜡笔的小新

已于 2024-02-01 10:35:27 修改

阅读量2.9k

点赞数 1

分类专栏： pytorch python 源码简介-pytorch 文章标签：深度学习人工智能 python

于 2023-02-22 18:57:32 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_44503976/article/details/129166099

版权

本文介绍了PyTorch中的nn.Dropout模块，详细阐述了如何在一维向量和二维卷积特征图上应用dropout，并解释了dropout作为正则化技术防止神经元共同适应的重要性。在训练期间，元素以概率p被随机归零，输出比例为1/(1-p)。通过实例展示了dropout在不同维度数据上的效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：

pytorch与tensorflow中均有nn.dropout,两者之间的使用方法，下面将介绍。

一、torch.nn.dropout

说明文档：

r"""During training, randomly zeroes some of the elements of the input
tensor with probability :attr:`p` using samples from a Bernoulli
distribution. Each channel will be zeroed out independently on every forward
call.

This has proven to be an effective technique for regularization and
preventing the co-adaptation of neurons as described in the paper
`Improving neural networks by preventing co-adaptation of feature
detectors`_ .

Furthermore, the outputs are scaled by a factor of :math:`\frac{1}{1-p}` during
training. This means that during evaluation the module simply computes an
identity function.

大致的翻译：

在训练期间，随机地将输入的一些元素归零，以概率为`p`，使用伯努利分布的样本。每个通道将在每次前向调用时被独立清零。

这已被证明是一种有效的正则化技术，可以防止神经元的共同适应，如论文中所述 &#