Python和PyTorch对比实现dropout函数及反向传播

最新推荐文章于 2025-03-29 09:30:00 发布

BrightLampCsdn

最新推荐文章于 2025-03-29 09:30:00 发布

阅读量2.7k

点赞数 1

分类专栏：深度学习编程

本文链接：https://blog.youkuaiyun.com/oBrightLamp/article/details/84326091

版权

本文探讨了如何使用纯Python与PyTorch分别实现dropout函数及其反向传播过程，提供了详细的对比和理解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

本文使用纯 Python 和 PyTorch 对比 dropout 函数及其反向传播.

正文

import torch
import numpy as np


class Dropout:
    """
    http://arxiv.org/abs/1207.0580
    """

    def __init__(self, dropout_ratio=0.5):
        self.dropout_ratio = dropout_ratio
        self.train_flg = True
        self.mask = None

    def __call__(self, x, manual_mask=None, train_flg=True):
        if train_flg:
            if manual_mask is None:
                self.mask = np.random.rand(*x.shape) > self.dropout_ratio
            else:
                self.mask = manual_mask
            out =