CNN---Dropout

最新推荐文章于 2024-11-21 23:24:17 发布

放下扳手&拿起键盘

最新推荐文章于 2024-11-21 23:24:17 发布

阅读量742

点赞数 1

CC 4.0 BY-SA版权

分类专栏： CNN

本文链接：https://blog.youkuaiyun.com/william_hehe/article/details/85487314

CNN 专栏收录该内容

5 篇文章

订阅专栏

Dropout是一种关键的防过拟合技术，通过在训练过程中随机移除神经元，防止网络过度依赖单一特征，从而提升模型泛化能力。本文详细介绍了Dropout的工作原理、代码实现及使用技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.概念：

Dropout是解决模型过拟合的一种关键技术。通过Dropout可以防止网络单元中的过度适应问题。Dropout的实现过程是：在训练期间，从大量的不同程度的“稀疏”网络中提取样本数据，在测试阶段，通过简单地使用具有较小权重的单个“非稀疏”网络，从而可以很容易地近似平均所有这些“稀疏”网络的预测效果。

2.代码实现：

import numpy as np

def dropout(x, keep_prob):
    d3 = (np.random.rand(*x.shape) < keep_prob)  #dropout
    print(d3)
    x = np.multiply(x,d3)
    print(x)
    x = x/keep_prob  #inverted dropout
    return x

a3 = np.asarray([1, 2, 3, 4, 5, 6, 7, 8, 9, 10], dtype=np.float32)
a3 = dropout(a3,0.8)
print(a3)

3.小结：

Dropout通过随机删除神经网络中的神经单元，从而使得网络不依赖于任何一个特征，从而产生收缩权重的平方范数的效果。Dropout的一大缺点是损失函数不再被明确定义。因为每次迭代都会随机移除一些节点，因此很难检查梯度是否下降的性能。因此，在使用Dropout时，可先令超参数keep_prob=1，然后保证损失函数是单调递减的，然后再调整keep_prob的超参数。

参考文献：

1. Dropout: A Simple Way to Prevent Neural Networks from Overfitting

2.DeepLearning.ai

注：本文属于个人理解，若有错误，欢迎指正！