AAAI2024最佳解读|End-to-End Real-Time Vanishing Point Detection with Transformer-water-merged

论文标题

End-to-End Real-Time Vanishing Point Detection with Transformer 基于Transformer的端到端实时消失点检测

论文链接

End-to-End Real-Time Vanishing Point Detection with Transformer论文下载

论文作者

Xin Tong, Shi Peng, Yufei Guo, Xuhui Huang

内容简介

本文提出了一种新颖的基于Transformer的端到端实时消失点检测方法，称为消失点Transformer（VPTR）。该方法通过将消失点检测视为在高斯半球上的点目标检测任务，能够直接从给定图像中回归消失点的位置。VPTR架构结合了CNN主干网络和可变形Transformer解码器，能够高效地提取多级图像特征。该方法不依赖于直线检测或曼哈顿世界假设，使其在自然和结构化场景中均表现出色。实验结果表明，VPTR在准确性和效率的平衡方面优于其他最先进的方法，并且在NVIDIA 3090显卡上以140 FPS的速度运行。

分点关键点

1. VPTR架构

   • VPTR架构由CNN主干网络和可变形Transformer解码器组成，能够直接从多级图像特征中提取信息。解码器通过可变形注意力机制直接与主干网络连接，避免了传统模型中编码器的高计算成本。

2. 区域划分与查询预测

   • 该方法在高斯半球上进行区域划分，使用预定义的锚点来检测消失点。每个消失点查询负责检测特定区域内的消失点，模型通过回归方法直接预测消失点的位置和置信度。

3. 训练监督机制

   • VPTR使用置信度损失和位置损失来监督模型训练，确保模型能够准确预测消失点的位置。对于遵循曼哈顿世界假设的场景，还引入了曼哈顿损失，以确保预测的消失点尽可能正交。

4. 实验结果与性能

   • 在合成和真实世界数据集上的实验表明，VPTR在准确性和效率方面均优于其他现有方法，能够在复杂场景中有效检测消失点，且不需要修改模型架构即可处理不同数量的消失点。

中文关键词

1. 消失点检测
2. Transformer
3. 端到端
4. 实时处理
5. 高斯半球
6. 计算机视觉

AAAI论文合集：

AAAI论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！