Chen_Swan的博客

摘要：ResNest主要贡献是设计了一个Split-Attention模块，可以实现跨通道注意力。通过以ResNet样式堆叠Split-Attention块，获得了一个ResNet的变体。ResNest网络保留了完整的ResNet结构，可以直接用下游任务，而不会引起额外的计算成本。ResNest在分类、FasterRCNN、DeeplabV3上都有提升。动机：著名的ResNet是针对图像分...

Densenet受启发于resnet，通过shortcut(skip connection)建立前面层到后面层的联系，有助于训练过程中的梯度反向传播。相比于resnet，densenet设计了更密集的shortcut，建立了前面的所有层和后面的密集连接。Densenet还通过特征在channel上的连接来实现特征重用，这减少了DenseNet的参数量和计算成本。DenseNet提出了一个非...

论文地址：https://arxiv.org/pdf/1911.04252v1.pdf这篇文章实现了自训练方法，使用部分带标签数据进行训练，在ImageNet上top-1为87.4%。方法：1. 为有标签和无标签的图片。2. 使用有标签的数据、标准交叉熵损失训练了一个EfficientNet作为教师网络。3. 用这个教师网络，在无标签数据上生成伪标签，伪标签可以是soft la...