deformable-detr论文解析

关注

原创最新推荐文章于 2026-08-09 23:14:49 发布 2.5k 阅读 AI 写同款· GEO 优化 ›

Deformable DETR DETR提出了Query Based的端到端目标检测算法，把目标检测看成了一个集合预测的问题，巧妙避开目标检测中常用的Anchor和NMS的方法，具有实现简单、拓展性强的优点。训练周期长，相比faster rcnn慢10-20倍对小目标不友好。Deformable DETR分析了存在上述两个问题的原因，并做出改变以解决上述问题。阅读详情

前言

传统detr受限于不能输入特别大的图像到网络，因为展开为一个序列输入到transformer中时，序列长度呈原图宽（高）的指数倍，而且在transformer中展开序列的每一个像素点都需要对全部像素点求注意力，增加图片尺寸对计算量的影响非常大。在deformable-detr中就提出每个位置都只对附近位置进行注意力计算，而不是对全部位置进行计算，降低了计算量。

可变型卷积只知道这些点是重要特征，缺少对点与点之间的位置关系进行联系。在deformable-detr主要的创新点是将可变型卷积与transformer进行关联---- Deformable Attention Module。

另外，涉及到multi-scale features>>多视角特征中不同大小特征图针对同一个目标的对齐问题？输入的大小不同，每个点的位置都会出现或多或小的偏差---通过偏移解决

Deformable Attention Module

式中，q代表一个像素点，Zq代表组成当前采样点的向量，Pq表示采样点的位置关系2-d reference（2d坐标），M表示mult_head atten的head数，K表示采样点数目，Amqk表示在当前层mult_head atten中每个点计算得到的注意力权重，， $\bigtriangleup Pmqk$ 表示在Pq下的偏移量，Wm与 $W_{m}^{,}$ 表示两个全连接层FC，x表示输入特征图，其中 $\bigtriangleup Pmqk$ 与Amqk是需要训练的两个重要参数，都是通过全连接层预测出来的。

偏移量sampling offset

举个例子，对当前目标点Zq初始化采样周围四个点，这四个点是固定的，对每一个点都估计一个偏移量到当前采样点相对重要的四个位置（偏移量是由Zq预测得到的，每一个点Zq对应一个特征，连上一个全连接层预测8个值（4x2，四组偏移量），更新w与b即能预测不同的四组偏移量）

然而加上偏移量的每一个位置并不是刚好对应一个点，没有索引值就对应不到一个具体的位置

偏移点附近的四个点每个点都对特征有贡献，即对偏移点取周围的四个点进行插值计算特征（更新Pq+ $\bigtriangleup Pmqk$ ），同时乘上Amqk，体现每一个偏移后的点对目标点的特征的重要性。

总的来说，可变型就是偏移量可变，可变型注意力模块就是对中心点特征通过周围的点偏移量计算后注意到更远的点做注意力。

具体Deformable Attention Module的流程如下图所示：

在transformer中输入序列x（在图中是特征图的形式）通过三个FC层得到对应的Q、K、V，在Deformable Attention Module中同样对x中目标点Zq连接一个FC层，得到Zq点的V；同时将Zq连接一个FC层预测偏移量sampling offset和Amqk，将Zq对应的k组偏移量组成的特征空间输出，然后通过Amqk对每一组不同偏移量的特征空间进行权重赋值然后相加，输出Aggregated Sampled Values在连接一个FC层得到最终输出。