RoI Transformer论文翻译详解

最新推荐文章于 2025-02-18 06:41:50 发布
最新推荐文章于 2025-02-18 06:41:50 发布
阅读量1.7k 收藏 9
点赞数
文章标签： transformer 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34885993/article/details/129013118
版权
文章提出了一种RoITransformer方法，用于解决航空图像中基于水平RoI的目标检测问题，特别是处理密集和定向目标时的不匹配。RoITransformer通过学习空间变换参数，以OBB注释进行监督，改善了RoI与目标的匹配，提高了分类置信度和定位精度。该方法在DOTA和HRSC2016数据集上表现出优越性能，且能轻松集成到现有检测框架中，提升了检测效率和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Learning RoI Transformer for Oriented Object Detection in Aerial Images

0.摘要

航空图像中的目标检测是计算机视觉中一个活跃而又具有挑战性的任务，因为它具有鸟瞰视角、高度复杂的背景和变化的物体外观。特别是在航空图像中检测密集的目标时，基于水平建议的普通目标检测方法往往会导致感兴趣区域(Region of interest, RoIs)与目标之间的不匹配。这就导致了最终目标分类置信度与定位精度之间的常见偏差。在本文中，我们提出了一个RoI Transformer来解决这些问题。RoI Transformer的核心思想是对RoI进行空间变换，并在定向包围框(OBB)注释的监督下学习变换参数。RoI Transformer是轻量级的，可以很容易地嵌入到检测器中，用于定向对象检测。简单地将RoI Transformer应用于light-head RCNN 已经在两个常见且具有挑战性的航空数据集上取得了最先进的性能，即DOTA和HRSC2016，检测速度的降低可以忽略。当定向边界框注释可用时，我们的RoI Transformer超过了可变形的位置敏感 RoI pool-ing。大量的实验也验证了我们的RoI Transformer的灵活性和有效性。

1.介绍

（1）背景
水平框检测会造成边界框和目标的不一致性，尤其是当目标密集分布时。由于航空影像目标方向的多样性，使用有限方向的RRoIs很难与所有的目标都正确匹配，并且多方向的RRoIs还会造成计算的高度复杂性。空间变换、形变卷积和RoI池化常被用来处理几何变形，并且不涉及标注的旋转边界框。在航空影像中，提取具有旋转不变性的区域特征，对于消除区域特征和目标的不匹配问题是非常重要的。

（2)本文研究的主要内容：
提出了RoI Transformer的模块结构，通过标注RRoI的监督学习和基于位置敏感对齐的特征提取，旨在利用双阶段框架实现密集旋转目标的检测。它由两部分组成：
第一个是RRoI学习器，它学习从hroi到RRoI的转换。
第二个是旋转位置敏感RoI Align，从RRoI中提取旋转不变特征，用于后续的对象分类和位置回归。

（3）本文研究的主要贡献：

  • 我们提出了一个有监督的旋转RoI学习器，它是一个可以将水平RoI转换为RoI的可学习模块。该设计不仅可以有效缓解RoIs与对象之间的错位，还可以避免为定向对象检测而设计的大量锚点。
  • 设计了用于空间不变特征提取的旋转位置敏感感兴趣区域对齐模块，可以有效地促进目标分类和位置回归。当使用light
最低0.47元/天 解锁文章
vitalgirl
关注
RoI Transformer 精读
qq_30612045的博客
08-02 7058
背景 旋转框检测模型RRPN是通过生成大量的旋转锚框来实现多角度目标检测，后续提出的旋转框检测模型主要是在此基础上进行细节方面的改进。这种通过生成大量旋转框的方法最主要的缺点是冗余计算导致检测速度很慢。 本文主要内容 本文提出RoI Transformer来解决此问题。RoI Transformer 是一个三阶段检测模型，主要由RRoI Leaner和RRoI Wraping两部分组成，核心思想是把RPN输出的水平锚框HRoI转换为旋转锚框RRoI。此策略无需增加锚点的数量且可以获得精确的RRoI。RoI
【论文】Learning RoI Transformer for Oriented Object Detection in Aerial Images
糯米丸子TAT的博客
11-12 4745
RoI Transformer: 将空间转换应用在RoIs上，并通过标注旋转框，监督学习得到转换参数。 RoI Transformer是轻量级的。 Introduction 1. 水平框检测会造成边界框和目标的不一致性，尤其是当目标密集分布时。 2. 由于航空影像目标方向的多样性，使用有限方向的RRoIs很难与所有的目标都正确匹配，并且多方向的RRoIs还会造成计算的高度复杂性。 3. 空间变换、形变卷积和RoI池化常被用来处理几何变形，并且不涉及标注的旋转边界框。 4. 在航空影像中，提取.
【CVPR 2020】Learning RoI Transformer for Oriented Object Detection in Aerial Images
墨门
10-18 1265
介绍 这篇文章是针对旋转框任务的； 摘要 由于鸟瞰视角、高度复杂的背景和多变的物体外观，航拍图像中的目标检测是计算机视觉中一项活跃但具有挑战性的任务。许多检测方法依赖于通用目标检测中的水平候选框，而这类方法尤其在航拍图像中检测密集目标时则会引入RoI和目标之间的不匹配。这会导致最终目标分类置信度和定位精度之间常见的错位。在本文中，作者提出一种RoI-Transformer来解决这些问题。RoI-Transformer的核心想法是对RoI进行空间变形并在oriented-bounding-box（OBB）标注
详解经典旋转目标检测算法RoI Transformer
热门推荐
qq_36561737的博客
07-12 2万+
一、引言 1、旋转目标检测检测就是将具有旋转方向的目标检测出来，也就是需要检测目标的中心点、长宽、角度。在俯视图的目标检测中比较常见，如遥感图像目标检测、航拍图像目标检测等。(见下图旋转目标检测，图源论文RoI Transformer ) 2、旋转目标检测算法，目前多阶段里面性能较好的是RoI Transformer这个算法，本篇博客将详细分析此算法。 论文《Learning RoI Transformer for Oriented Object Detection in Aerial Images》 开
Learning RoI Transformer for Detecting Oriented Objects in Aerial Images
程永强
07-14 8758
Learning RoI Transformer for Detecting Oriented Objects in Aerial Images Jian Ding, Nan Xue, Yang Long, Gui-Song Xia, Qikai Lu Wuhan University，WHU：武汉大学，武大 Computational and Photogrammetric Vision Tea...
BevFusion (3): BevFusion论文详解
@bangbang的博客
02-27 1797
我们提出了BEVFusion，一个高效和通用的框架，用于多任务多传感器3D感知。BEVFusion将摄像头和激光雷达特征统一在一个共享的BEV表示空间中，充分保留了两者几何和语义信息。为了实现这一目标，我们将的 camera-to-BEV的转换的速度加快了40倍以上。BEVFusion打破了长期以来的点级融合是多传感器感知系统的黄金选择的惯例。BEVFusion达到了最先进的水平在3D检测和BEV地图分割任务上的性能，计算量减少1.5-1.9倍，现有解决方案相比，速度提高了1.3-1.6倍。
​300+篇文献！一文详解基于Transformer的多模态学习最新进展
Paper weekly
07-01 5458
©PaperWeekly 原创 ·作者 | Jason研究方向 | 计算机视觉论文标题：Multimodal Learning with Transformers: A Survey论文地址：https://arxiv.org/abs/2206.06488摘要Transformer 是一种很有前途的神经网络学习器，在各种机器学习任务中取得了巨大的成功。由于最近多模态应用...
【深度学习】语义分割:论文阅读：（2021-12）Mask2Former
zhe470719的博客
06-04 9430
论文：Masked-attention Mask Transformer for Universal Image Segmentation 代码： 官方-代码 代码视频： b站论文讲解笔记参考： 翻译版Mask2Former在MaskFormer的基础上，本文的改进呢**主要是mask attention还有high-resolution features，**本质上是一个金字塔，剩下的一些关于训练上的还有optimization上改进呢，能够提高训练速度 masked attention 我们知道dec
如何用Transformer来做目标检测？一文简述DERT及其变体
Paper weekly
04-24 1万+
©PaperWeekly 原创 ·作者｜张一帆学校｜华南理工大学本科生研究方向｜CV，CausalityDETR 在短短一年时间收获了 200+ 引用量，可谓是风靡一时，各种变体层出不穷...
采用基于深度学习的目标检测方法 RoI Transformer模型处理尾矿库检测数据集来构建一个用于尾矿库检测的系统——利用有向检测框准确地识别和定位尾矿实例
2401_88440984的博客
02-18 564
采用基于深度学习的目标检测方法 RoI Transformer模型处理尾矿库检测数据集来构建一个用于尾矿库检测的系统——利用有向检测框准确地识别和定位尾矿实例
Transformer论文详解，论文完整翻译（八）
ws_nlp_的博客
06-18 628
Transformer论文详解，论文完整翻译（八） 第四章 为什么要Self-Attention 在本章中，我们从不同方面，来比较self-attention层和循环卷积层的基本应用：对于一个变长序列的符号表示，映射到另一个同长度序列，就像一个经典的序列转换encoder或者decoder的隐层一样。我们使用self-attention的动机是我们考虑了三个必要方面。 （个人总结，请勿转载） ...
每天一篇论文 ROI-10D: Monocular Lifting of 2D Detection to 6D Pose and Metric Shape
流浪机器人的博客
04-16 934
ROI-10D: Monocular Lifting of 2D Detection to 6D Pose and Metric Shape 摘要 提出了一种端到端单目三维目标检测和度量形状检索的深度学习方法，将二维检测、定位和尺度估计提升到三维空间，提出了一种新的损失公式。三维实例化不需要单独优化这些数量，而是允许正确测量框的度量偏差。实验表明，我们提出的稀疏二维感兴趣区域（RoIs）的10D提...
目标检测论文中的ROI | 各种方法横向学习
weixin_45581089的博客
07-05 2947
存在于目标检测论文中的ROI，Faster RCNN中利用PRN提出ROI，Mask R-CNN的ROI Align
阅读论文DOTA和RoITransformer_DOTA
qq_42278791的博客
07-01 2521
通过阅读这两篇论文，可以大致了解遥感图像目标检测领域所存在的问题，以及目前所采用的解决方法有哪些。 由于遥感图像天生的特点： the huge variation in the scale, orientation and shape of the object instances：目标尺寸、方向、形状的变化大 小而稠密的物体 4 DOTA 介绍 由于重力原因，传统目标检测数据集中的目标通常...
从RoI Pooling 到 RoI Align -- Mask R-CNN 论文思想解析
weixin_42108090的博客
09-06 345
RoIAlign: RoIPool [12] is a standard operation for extracting a small feature map (e.g., 7×7) from each RoI. RoIPool first quantizes a floating-number RoI to the discrete granularity of the feature map, this quantized RoI is then subdivided into spatial ..
roi transformer_小红书还有红利吗？有！近2个月高roi爆品拆解
weixin_39676348的博客
10-27 201
最近和一些品牌方沟通，大家一如既往的焦虑流量的问题。好多人都说小红书没啥流量红利了，抖音达人太贵，快手嫌low，B站贵又摸不清转化，站内投放拼命砸钱不一定有什么水花。条条大路都难走，只能到处去学习，去找方法，往往看到一些成功案例，自己落地的时候却发现不知道怎么做。最后又陷入了焦虑的循坏中。小红书真的没流量红利了嘛？我最近翻了一下，依旧有只靠小红书投放就做出可观销售额的品牌。比如Reze(爱睿丝)，...
【技术知识】Transformer
liudongdong_jlu
07-15 425
1. Embedding After embedding the words in our input sequence, each of them flows through each of the two layers of the encoder. The word in each position flows through its own path in the encoder. There are dependencies between these paths in the self-...
【论文阅读】Oriented R-CNN for Object Detection
dujuancao11的博客
11-12 2584
Oriented R-CNN for Object Detection 论文解读_长歌丶采薇的博客-优快云博客 Oriented R-CNN：面向旋转目标检测的 R-CNN（ICCV2021）_凌青羽的博客-优快云博客 本博客是直接翻译的结果，翻译过程难免会有不准确，可评论指出。 摘要 目前最先进的两级探测器通过耗时的方案产生定向建议。这降低了探测器的速度，从而成为高级面向对象检测系统的计算瓶颈。本文提出了一种有效且简单的定向对象检测框架，即定 向R-CNN，它是一种通用的...
ViT论文解读
最新发布
03-23
### Vision Transformer (ViT) 论文详解及核心概念解析 #### ViT 模型概述 Transformer 架构最初被设计用于自然语言处理领域，其成功促使研究者尝试将其应用于计算机视觉任务。Vision Transformer (ViT)[^1] 是一种基于纯 Transformer 的架构，旨在替代传统的卷积神经网络（CNN）。与 CNN 不同的是，ViT 将输入图像划分为固定大小的 patches 并将这些 patches 转换为 tokens 进入 Transformer 编码器。 相比 CNN 中的空间局部性和平移不变性的特性，ViT 更注重全局依赖关系的学习[^2]。然而，这种设计也带来了挑战，例如对大规模数据的需求较高以及在小规模数据集上的泛化能力较弱等问题。 #### ViT 模型的核心原理 ViT 的主要组成部分包括以下几个方面： 1. **图像分块** 输入图像会被均匀划分成多个不重叠的小区域（patches），每个 patch 都会经过线性投影操作转换为一维向量表示。这一过程类似于 NLP 中单词嵌入的过程[^1]。 2. **位置编码** 由于 Transformer 对顺序无感知的能力不足，因此需要显式加入位置信息来帮助模型学习空间排列特征。通常采用正弦余弦函数形式的位置编码方法。 3. **Transformer 编码器** 经过上述两步处理后的 token 序列送入标准多头自注意力机制构成的标准 Transformer 层中进一步提取高层次抽象特征。 4. **分类标记（Class Token）** 在序列开头附加一个特殊标记 `[CLS]` ，该标记最终作为整个图片表征参与下游任务预测。 #### ViT 模型的训练 为了使 ViT 达到最佳效果，往往需要借助大量标注样本完成监督学习或者利用未标注数据先进行预训练再针对具体应用场景做迁移调整 。此外还可以结合多种先进的技巧比如混合精度训练、知识蒸馏等手段提升效率并改善收敛速度。 值得注意的是，在面对较小尺寸的数据集合时，单纯依靠原始版本可能会遭遇欠拟合现象；此时可以考虑引入额外辅助策略——如更强力的数据扩增方案或是借鉴 DeiT 提议的知识传递框架等等。 #### 性能比较与局限性分析 当拥有充足资源支持的情况下，相较于经典 CNN 结构而言，ViT 可以取得相当甚至超越的表现水平尤其体现在 ImageNet 等大型公开测试集中。不过与此同时它也有一些固有缺陷亟待解决：首先是计算成本相对高昂，其次是缺乏对于低级纹理细节敏感度不够高等缺点。 #### 改进版模型简介 随着研究进展不断推进，出现了许多基于基础 Vit 设计理念之上加以改良的新颖变种型号，其中较为著名的有 DeiT 和 Swin Transformer: - **DeiT**: 主要聚焦于如何有效减少所需算力消耗的同时维持良好准确性，提出了新颖有效的教师学生联合指导模式以及其他多项技术创新措施. - **Swin Transformer**: 利用了滑动窗口机制实现了更灵活高效的跨尺度交互建模功能，从而显著增强了捕捉复杂场景内部关联性的潜力[^3]. #### 实际应用案例分享 目前 ViTs 已经广泛渗透到了各类主流 CV 子领域当中去发挥作用，涵盖了但不限于如下几个典型例子: - 图像分类: 如前所述，在诸如 imagenet 上取得了优异成果； - 目标检测&实例分割 : DETR 使用 transformer 替代 roi pooling 成功开创全新范式; - 视频理解: MViT 多尺度视频变换器通过对时空维度动态调节实现高效精准解析; --- ### 示例代码片段演示简单构建流程 以下是 Python 版本的一个简化版 ViT 定义示意程序： ```python import torch.nn as nn class PatchEmbedding(nn.Module): def __init__(self, img_size=224, patch_size=16, embed_dim=768): super().__init__() self.proj = nn.Conv2d(3, embed_dim, kernel_size=patch_size, stride=patch_size) def forward(self, x): x = self.proj(x).flatten(2).transpose(1, 2) return x class VisionTransformer(nn.Module): def __init__(self, depth=12, num_heads=12, mlp_ratio=4., qkv_bias=False, norm_layer=nn.LayerNorm, embed_dim=768, drop_rate=0., attn_drop_rate=0.): super().__init__() dpr = [x.item() for x in torch.linspace(0, drop_rate, depth)] layers = [] for i in range(depth): layer = Block(dim=embed_dim, num_heads=num_heads, mlp_ratio=mlp_ratio, qkv_bias=qkv_bias, drop=dpr[i], attn_drop=attn_drop_rate, norm_layer=norm_layer) layers.append(layer) self.layers = nn.Sequential(*layers) def forward(self, x): for blk in self.layers: x = blk(x) return x ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值