25、卷积网络泛化与肺癌检测项目实践

卷积网络泛化与肺癌检测项目实践

1. 卷积网络的泛化应用

1.1 网络训练与初始化

在构建卷积网络时，训练过程中的收敛问题是一个关键挑战。以某些网络为例，其收敛较为脆弱，因此在训练 NetRes 时，我们采用了 3e - 3 的学习率，而不是其他网络使用的 1e - 2。并且，所有网络都未训练至收敛，但通过这些调整，训练才得以推进。

权重初始化是训练神经网络的重要技巧之一。由于历史原因，PyTorch 的默认权重初始化并不理想。虽然人们正在努力解决这个问题，相关进展可在 GitHub（https://github.com/pytorch/pytorch/issues/18182）上追踪，但目前我们仍需自行调整权重初始化。当模型不收敛时，我们参考了常见的初始化方法，如采用较小的权重方差、批量归一化输出的零均值和单位方差，还会在网络不收敛时将批量归一化的输出方差减半。

1.2 设计修改效果对比

我们孤立地总结了各设计修改的效果，如图 1 所示。不过，我们不应过度解读具体数值，因为实验设置较为简单，使用不同随机种子重复实验可能会导致验证准确率的差异与不同设计修改间的差异相当。在实际应用中，我们会调整学习率、训练轮数等参数以获取最佳结果，并且可能会结合多种设计元素。

从定性观察来看，在讨论验证和过拟合时，权重衰减和丢弃正则化比批量归一化具有更严格的统计估计解释，它们在训练准确率和验证准确率之间的差距更小。而批量归一化主要作为收敛辅助手段，能使网络训练至接近 100% 的训练准确率，因此我们将前两者视为正则化方法。

设计修改