10、神经网络正则化与卷积神经网络详解

最新推荐文章于 2026-01-09 16:56:46 发布

原创最新推荐文章于 2026-01-09 16:56:46 发布 · 13 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #正则化 #Dropout

PyTorch自然语言处理入门专栏收录该内容

20 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

神经网络正则化与卷积神经网络详解

1. 多层感知机（MLP）的正则化

在神经网络训练中，过拟合是一个常见的问题。为了解决这个问题，我们可以采用正则化方法。常见的权重正则化方法有 L1 和 L2，这些方法不仅适用于多层感知机（MLP），也适用于卷积神经网络（CNN）。

对于深度模型（如本章讨论的前馈网络），除了权重正则化，一种名为 Dropout 的结构正则化方法也非常重要。Dropout 在训练过程中以一定概率随机断开相邻两层单元之间的连接。

下面是一个形象的解释：如果一个人能在喝醉的状态下反复学习完成一项任务，那么他在清醒时应该能把这项任务完成得更好。Dropout 就是基于这样的思想，通过随机断开连接，确保没有一个单元会始终依赖于另一个单元，从而使模型更加健壮。

Dropout 不需要为模型添加额外的参数，但需要一个超参数——“丢弃概率”，通常将其设置为 0.5。以下是一个带有 Dropout 的 MLP 实现示例：

import torch.nn as nn
import torch.nn.functional as F

class MultilayerPerceptron(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim):
        """
        Args:
            input_dim (int): the size of the input vectors
            hidden_dim (int): the output size