cs231n assignment2 dropout

最新推荐文章于 2025-08-09 23:52:50 发布

原创

最新推荐文章于 2025-08-09 23:52:50 发布 · 1.2k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉

本文深入解析Inverted Dropout方法，一种有效的神经网络正则化技术，用于防止过拟合。通过在训练阶段调整dropout过程，无需在测试阶段进行额外操作，简化了模型应用。文章详细介绍了Inverted Dropout的前向传播和反向传播实现，并讨论了其在不同场景下的应用效果。

代码：https://github.com/LiuZhe6/CS231N

为了防止神经网络过拟合数据，可以采用dropout方法。其主要思想是：对隐藏层中部分输出或者权重随机置为0。

文章目录

Dropout

forward pass

题目要求使用inverted dropout，其主要思想是在训练阶段在mask的基础上处以p，使得在测试阶段不需要修改。
layers.py中dropout_forward()

    if mode == 'train':
        #######################################################################
        #       Implement training phase forward pass for inverted dropout.   #
        # Store the dropout mask in the mask variable.                        #
        #######################################################################
        # *****START OF YOUR CODE (DO NOT DELETE/MODIFY THIS LINE)*****
        mask

最低0.47元/天解锁文章

4 条评论

粉红色抠脚大汉 2020.02.04
想提醒一下博主，最后一个问题你回答的明显有问题，注意括号里的--that is, the number of nodes in each layer。这里是降低网络中隐藏层的size
- 一叶知秋Autumn回复粉红色抠脚大汉 2020.02.06
  [reply]qq_41550328[/reply]嗯嗯，看了你的答案，我感觉题目的意思我没有理解清楚。感谢！
- 粉红色抠脚大汉回复一叶知秋Autumn 2020.02.06
  [reply]SpicyCoder[/reply]我觉得你说的还是欠妥，dropout的目的并不是丢掉很多节点，是为了抑制过拟合。当隐藏层的节点size变小后，网络的复杂度变小，这个时候过拟合的程度减小，所以应该设置更小的p值（此处的p指丢掉的节点）
- 一叶知秋Autumn回复粉红色抠脚大汉 2020.02.05
  [reply]qq_41550328[/reply]是的，减少每一层中的节点数目，需要设置更大的p值才可以使得dropout过程中丢掉更多的结点