Transformer在目标检测的几篇论文

Transformer在目标检测的几篇论文

blog记录最近看的两篇文章

• End-to-End Object Detection with Transformers
• Deformable Convolutional Networks
• DEFORMABLE DETR: Deformable Transformers for End-to-End Object Detection

如果你了解第二篇文章，那么第三篇文章就相对容易。

前置废话

       最近看了几篇文章，姑且记录下来。最近Transformer在视觉上的paper不断增多，各种idea层出不穷，如swin transformer等。但一切都有迹可循。本blog记录关于目标检测两篇比较有代表性的paper。

前置知识

• 了解最原始的Transformer,
• 优化分配问题(匈牙利法)。

这里简述关于这两点知识。

Transformer

SelfAttetion

       对于给定的Feature Map $x\in R^{c\times h\times w}$, 不妨设置得到的$Q$,$K$和$V$都是相同维度，即$Q,K,V\in R^{c\times h\times w}$.将$Q,K,V$分别$reshape$到$R^{hw\times c}$,那么$SA=Q{K}^T$,进一步做归一化，可以得到
$$SA=softmax(\frac{Q{K}^T}{\sqrt{d_k}})$$ 最终得到的输出
$$Attention(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}})V(1)$$
可以看到$SA\in R^{hw\times hw}$, $Attention(Q,K,V)\in R^{hw\times c}$,这就是想要的结果.
       Multi-head机制只是把通道数拆成多份，如$m$份，那么上述的shape就变成了$Q,K,V\in R^{h\times w\times \frac{c}{m}}$,最后将m个head进行$concat$,得到$Attention\in R^{hw\times c}$ . $cross-attetion$和这个类似，只不过$K$和$V$的来源不同而已，这里不再过多的赘述。

Position Embedding

        由于在self-attention的过程中，只考虑了两两之间的attention,这其实还不够，因为现实生活中位置对于特征也非常重要，原论文采用了两种方式进行position位置的编码。

• hard coding(sin,cos函数编码)
• position learning

对于hard coding的方式主要参考
P E ( p o s , 2 i ) = s i n ( p o s 1000 0 2 i / d m o d e l )              ( 2 ) PE(pos,2i)=sin(\frac{pos}{10000^{2i/d_{model}}}) \ \ \ \ \ \ \ \ \ \ \ \ (2) PE(pos,2i)=sin(100002i/d