qq_43332629的博客

AttributeError: 'DistributedDataParallel' object has no attribute 'xxxx'

改网络时遇到的问题：TypeError: torch.nn.modules.batchnorm.BatchNorm2d is not a Module subclasstorch.nn.modules.batchnorm.BatchNorm2d

Deep Residual Learning for Image Recognition论文链接：https://arxiv.org/abs/1512.03385残差块示意图：优点：1.引入残差后的映射对输出的变化更敏感；2.在前向传播时，输入信号可以从任意低层直接传播到高层。它包含了一个天然的恒等映射，一定程度上可以解决网络退化问题。错误信号可以不经过任何中间权重矩阵变换直接传播到低层，一定程度上可以缓解梯度弥散问题（即便中间层矩阵权重很小，梯度基本上也不会消失）。综上可以认为