pytorch-dropout相关

最新推荐文章于 2025-01-04 10:59:51 发布

原创最新推荐文章于 2025-01-04 10:59:51 发布 · 3.5k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #机器学习

pytorch 专栏收录该内容

16 篇文章

订阅专栏

本文深入探讨PyTorch中Dropout函数的使用方法及其参数意义，包括inplace操作的解释，以及Dropout2d和Dropout3d的特性。通过实例帮助理解不同参数设置对模型训练的影响。

部署运行你感兴趣的模型镜像

今天在修改代码时，发现对dropout的inplace操作不太明白，所以有了此文，介绍一下pytorch的dropout函数

Dropout layers

在pytorch的doc中nn.dropout类如下，与functional.dropout函数一致：

CLASS: torch.nn.Dropout(p=0.5, inplace=False)
Input: Any. Input can be of any shape
Output: Same. Output is of the same shape as input

两个参数：

p为对于input中各个元素zero out的概率，也就是说当p=1时，output为全0。
inplace参数，示例如下，就是是否对tensor本身操作：

inplace为True时:

在这里插入图片描述
inplace为False时：

Dropout2d or 3d

除此之外，pytorch还定义了Dropout2d和Dropout3d两个变种，其实也相对简单，Dropout2d要求输入数据为4维，它针对feature map进行zero out操作，也就是说：比如一个abmn的input，对它的每个mn的feature map，也就是input[i, j]进行zero out。示例如下：

在这里插入图片描述