PyTorch实现L1，L2正则化以及Dropout

最新推荐文章于 2024-07-27 20:21:33 发布

原创

最新推荐文章于 2024-07-27 20:21:33 发布 · 1.4k 阅读

4 ·

CC 4.0 BY-SA版权

本文介绍了PyTorch中如何实现L1、L2正则化以及Dropout。L1正则化产生稀疏模型，L2正则化防止过拟合。Dropout通过随机忽略部分神经元来减少过拟合，训练阶段以一定比例v让隐层节点失效，测试阶段则调整输出以保持一致性。文中还提供了 Dropout 的 numpy 和 PyTorch 实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PyTorch实现L1，L2正则化以及Dropout
了解知道Dropout原理
用代码实现正则化(L1、L2、Dropout）
Dropout的numpy实现
PyTorch中实现dropout

L1，L2正则化
机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般L1正则化和L2正则化，或者L1范数和L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。一般回归分析中回归w表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）
在这里插入图片描述
那添加L1和L2正则化有什么用？下面是L1正则化和L2正则化的作用，这些表述可以在很多文章中找到。

L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合
**
Dropout原理**
常用的防治过拟合的方法是在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。因此在添加权值惩罚项后，应用梯度下降算法迭代优化计算时，如果参数theta比较大，则此时的正则项数值也比较大，那么在下一次更新参数时，参数削减的也比较大。可以使拟合结果看起来更平滑，不至于过拟合。

Dropout是hintion最近2年提出的；为了防止模型过拟合，Dropout可以作为一种trikc供选择。在hinton的论文摘要中指出，在每个训练批次中，通过忽略一半的特征检测器（让一半的隐层节点值为0），可以明显地减少过拟合现象。这种方式可以减少特征检测器间的相互作用，检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。

Dropout方法

训练阶段