卷积网络与深度学习调参策略-优快云博客

本文链接：https://blog.youkuaiyun.com/weiruofeng/article/details/84785025

本文探讨了卷积神经网络（CNN）中由于卷积和池化导致的特征信息变化，以及如何影响小目标检测。同时，介绍了深度学习的调参技巧，包括随机化样本、数据归一化、激活函数选择、mini batch 的应用、权重初始化、学习率衰减策略、Adam优化器的使用、Dropout的位置和大小选择，以及早停策略等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#卷积神经网络的缺点

在卷积神经网络中，随着卷积和池化操作的交替进行，特征图的尺寸不断降低，同时特征图上的精细信息越来越稀疏而全局信息则越来越丰富，这使得尺度比较小的船名表识区域在特征图上占有的信息量越来越稀疏，并最终使得文本检测层对船名表识的检测能力下降。（是从论文上摘录下来，正确与否有待考证）

#卷积：

receptive field: 接受域，处于卷积网络更深的层中的单元，它们的接受域要比处在浅层的单元接受域更大

pooling: 池化

#convolutional neural networks have typically had a standard structure--stacked convolutional layers (optionally followed by contrast normalization and max pooling) are followed by one or more fully-connected layers.

#深度学习的调参技巧

1、样本要随机化，防止大数据淹没小数据：

train_loader = DataLoader(train_data, batch_size=batch_size, shuffle=True, pin_memory=True, num_workers=workers)

shuffle(bool, optional)-- set to True to have the data reshuffled at every epoch

2、样本要做归一化：1）归一化后加快梯度下降求最优解的速度；2）归一化后有可能提高精度

# 图片归一化，由于采用ImageNet预训练网络，因此这里直接采用ImageNet网络的参数
&