AMiner通过AI技术，对计算机视觉国际大会（ICCV， International Conference on Computer Vision）收录的会议论文进行了分类整理

原创

于 2021-08-16 10:28:01 发布 · 406 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #机器学习 #人工智能

这篇博文涵盖了Transformer在计算机视觉领域的最新研究。第一篇论文介绍了PyramidVisionTransformer(PVT)，它在密集预测任务中展现出优于CNN的性能，特别是在对象检测和分割方面。第二篇论文探讨了相对位置编码在视觉Transformer中的优化，提出了一种新的方法，提高了DeiT和DETR的性能。第三篇工作聚焦于解释Transformer模型的预测，特别是那些涉及多模态和编码解码器结构的模型。最后一篇论文PlaneTR展示了如何利用Transformer进行3D平面检测和重建。这些研究都突显了Transformer在视觉理解和结构预测上的潜力。

AMiner-ICCV 2021 https://www.aminer.cn/conf/iccv2021
1、论文名称：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions
论文链接：https://www.aminer.cn/pub/6037844c91e011d7c73cd4b7
尽管使用卷积神经网络 (CNN) 作为主干在计算机视觉中取得了巨大成功，但这项工作研究了一个简单的主干网络，可用于许多没有卷积的密集预测任务。与最近提出的专为图像分类设计的Transformer模型（例如ViT）不同，我们提出了Pyramid Vision Transformer（PVT），它克服了将 Transformer 移植到各种密集预测任务的困难。与现有技术相比，PVT有几个优点。 (1)与通常具有低分辨率输出和高计算和内存成本的ViT不同，PVT不仅可以在图像的密集分区上进行训练以获得高输出分辨率，这对于密集预测很重要，而且还可以使用渐进式收缩金字塔以减少大型特征图的计算。(2) PVT继承了CNN和Transformer的优点，通过简单的替换CNN的backbone，使其在没有卷积的各种视觉任务中成为统一的backbone。 (3) 我们通过进行大量实验来验证 PVT，表明它提高了许多下游任务的性能，例如对象检测、语义和实例分割。例如，在参数数量相当的情况下，RetinaNet+PVT 在COCO数据集上实现了 40.4 AP，超过RetinNet+ResNet50（36.3 AP）4.1个绝对 AP。我们希望PVT可以作为像素级预测的替代和有用的骨干，并促进未来的研究。
在这里插入图片描述