卷积网络与肺癌自动检测:从理论到实践
1. 卷积网络的应用与优化
1.1 网络收敛与初始化
在使用卷积进行泛化时,网络收敛较为脆弱。为了解决这个问题,我们采用了更细致的初始化方法,并以 3e - 3 的学习率训练 NetRes,而非其他网络使用的 1e - 2。虽然我们没有将任何网络训练至收敛,但这些调整是必要的。
初始化是训练神经网络的重要技巧之一。由于历史原因,PyTorch 的默认权重初始化并不理想。目前人们正在努力解决这个问题,进展可在 GitHub(https://github.com/pytorch/pytorch/issues/18182)上跟踪。在此期间,我们需要自行修复权重初始化。当模型不收敛时,我们参考了常见的初始化选择(权重方差较小,批量归一化输出均值为零、方差为 1),并在网络不收敛时将批量归一化的输出方差减半。
1.2 设计修改效果比较
我们孤立地总结了每个设计修改的效果,如图 1 所示。需要注意的是,不要过度解读具体数字,因为我们的问题设置和实验较为简单,使用不同随机种子重复实验可能会产生与验证准确率差异相当的变化。在本次演示中,我们保持学习率、训练轮数等其他因素不变;在实践中,我们会通过调整这些因素来获得最佳结果,并且可能会结合一些额外的设计元素。
| 设计修改 | 训练准确率 | 验证准确率 |
|---|---|---|
| 基线 | 0.70 - 1.00 | 0.70 - |
超级会员免费看
订阅专栏 解锁全文
974

被折叠的 条评论
为什么被折叠?



