【论文阅读】【2d目标检测】一些swin transformer的改进方案

最新推荐文章于 2025-08-25 07:00:00 发布

原创最新推荐文章于 2025-08-25 07:00:00 发布 · 2.5k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #目标检测 #深度学习

论文阅读专栏收录该内容

37 篇文章

订阅专栏

随着Swin Transformer获得最佳论文奖，Transformer在2D图像处理中的应用受到广泛关注。文章介绍了Vision Transformer with Deformable Attention，它通过使用下采样的参考点改进了传统方法，解决了仅选择四个临近点导致的计算效率问题。此外，还提到了其他Transformer变体如Twins、MSG-Transformer和GG-Transformer，以及ShuffleTransformer，这些都是当前研究的热点。

随着swin transformer成为best paper。transformer用于2d图像领域更加引起人们的广泛关注，划分框框的方法确实有些笨拙。我也看了一些相关的文章，不过有些文章没有开源出代码来。
记录一下：

Vision Transformer with Deformable Attention

论文连接：https://arxiv.org/abs/2201.00520v1
已开源放心使用用deformable conv的方法来做transformer不稀奇，之前过def transformer的方法，文章也指出这种方法智能选择四个临近点来降低计算cost 这是不够的，所以文章选用了下采样的reference points。是在swin上做的改进！
在这里插入图片描述