李沐笔记（丢弃法）

最新推荐文章于 2024-08-15 15:18:24 发布

qq_42310607

最新推荐文章于 2024-08-15 15:18:24 发布

阅读量1.2k

点赞数

文章标签：线性回归算法回归

本文链接：https://blog.youkuaiyun.com/qq_42310607/article/details/121515241

版权

这篇博客探讨了丢弃法（Dropout）在深度学习中的应用，它用于避免过拟合，通过在训练过程中随机丢弃一部分神经元。文章阐述了丢弃法的基本原理，即在每轮训练中以一定的概率p忽略某些节点的输出x，以此来增加模型的泛化能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

x是到下一层的输出；p是丢弃当前数据的概率

import torch
from torch import nn
from d2l import torch as d2l

def dropout_layer(X, dropout):
    assert 0 <= dropout <= 1
    # 在本情况中，所有元素都被丢弃。
    if dropout == 1:
        return torch.zeros_like(X)
    # 在本情况中，所有元素都被保留。
    if dropout == 0:
        return X