去除冗余token的DETR效果怎么样？NUS颜水成团队提出端到端的PnP-DETR结构

作者丨小马
编辑丨极市平台
本文原创首发于极市平台，转载请获得授权并标明出处。

写在前面

最近，DETR利用Transformer将图像特征图直接转换为目标检测的结果。虽然这种方法效果还不错，但将图像特征图转换为目标检测结果的过程中可能存在很多冗余的计算。在这项工作中，作者将减少空间冗余的想法封装到一个投票和池化(PnP，poll and pool)采样模块中，进而构建了一个端到端PnP-DETR结构，自适应地空间分配使其计算更有效率 。具体地说，PnP模块将图像特征映射转换为精细的前景特征向量和少量粗糙的背景上下文特征。Transformer对细粒度和粗粒度的特征信息进行交互建模，并将特征转化为检测结果。此外，PnP-augmented模型可以通过改变采样特征长度，实现性能和计算之间的trade-off。因此，它为在具有不同计算约束场景中的部署提供了更大的灵活性。此外，作者进一步验证了PnP模块在全景分割上和图像分类的泛化性，并都获得了一致的性能提升。

1. 论文和代码地址

PnP-DETR: Towards Efficient Visual Analysis with Transformers

论文地址：https://arxiv.org/abs/2109.07036

代码地址：https://github.com/twangnh/pnp-detr

原文地址：去除冗余token的DETR效果怎么样？NUS颜水成团队提出端到端的PnP-DETR结构