【论文阅读】【3d目标检测】Voxel Transformer for 3D Object Detection

最新推荐文章于 2025-08-12 16:12:04 发布
原创 最新推荐文章于 2025-08-12 16:12:04 发布 · 3.3k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自动驾驶 #计算机视觉 #深度学习 #神经网络

本文介绍了一种名为VoxelTransformer的新型3D对象检测技术，该技术针对点云处理，特别是在基于体素的检测器上。与传统的点云处理方法不同，VoxelTransformer使用体素进行Transformer操作，允许更有效地提取全局特征。文章详细阐述了sparse和submanifold两种3D卷积操作，并探讨了它们在点云处理中的应用。通过local和dilated attention模块，模型能够捕获局部和广泛感受野的特征。实验结果显示，这种方法在性能和效率上都有显著优势，为3D对象检测提供了一条新的路径。

论文标题：Voxel Transformer for 3D Object Detection

iccv2021
现在点云的做法大多是在点云上进行 例如首先将点云group化 然后进行分组地transformer 而这篇文章提出了一种基于voxel的transformer 可以应用于基于voxel的检测器上 方便进行voxel 3d环节的提取全局特征。
老规矩 上图！
在这里插入图片描述
可以看出文章的主要创新之处在于3d的backbone 这就意味着我们可以将这个模块应用到所有的基于voxel的一阶段 二阶段检测器上面。
点云voxel的3d卷积主要分为两个类别的处理：sparse and submanifold。
他们的操作也是基本一样的 除了attending voxel不同而已，这两种类别的3d操作可以先参考SECOND 三维目标检测器。
简单的来说就是用sparse进行下采样 用submanifold在保持稀疏度的情况下进行3d卷积。
对于非空的voxel 我们对于attending voxel(什么是attending voxel呢 我们下面进行定义)进行transformer操作 位置编码选择相对位置编码 有transformer基础的同学看一下下面的公式就明白~
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
PointNet++改进策略 ：模块改进 | SWA| PVT，融入Transformer的点云与体素的模块同时提升模型精度和效率
u012901740的博客
09-11 1077
这篇论文的主要内容是提出了一种新的点云学习架构，名为点体素变换器（Point-Voxel Transformer, PVT）。PVT结合了基于点的方法和基于体素的方法的优点，通过引入稀疏窗口注意力（Sparse Window Attention, SWA）模块，能够高效地从3D数据中捕获有用的特征。提出PVT架构：这是第一个将基于点和基于体素的网络优势深度结合的Transformer方法。引入稀疏窗口注意力（SWA）模块：该模块实现了与输入体素分辨率线性相关的计算复杂度，同时避开了空体素的无效计算。
论文总结--Voxel Transformer for 3D Object Detection
m0_60799447的博客
11-12 648
Voxel Transformer (VoTr) 是一个基于Transformer的3D检测框架，可以通过稀疏体素模块和子流形体素模块处理稀疏点云数据。其核心目标是通过自注意力机制建立体素之间的长程关系，从而提高检测性能。
Unifying Voxel-based Representation with Transformer for 3D Object Detection
kebijuelun的博客
01-07 584
lidar 和 camera 低照下精度都低；基于 2d backbone 提取多视角或多帧图像的特征， 基于 FPN 用于生成 FI (H×W×C尺寸) 图像特征，不同 fpn stage 的 hw 不同。对于体素中的点 (x, y, z)，基于相机外参内参可以对应到图像 plane 中的某个 (u, v, d) 点，即可以通过图像特征转换到 voxel 空间上。受到 lss 启发设计了一个 view transform 方案，基于 view transform 将图像特征转换到 voxel 空间上。
VoxelNext，全稀疏的3D目标检测网络
huang_victor的博客
04-12 3665
当前3D目标检测模型，在检测部分都是沿用2D的方法，在dense的特征图上，通过预设的anchor或者center来预测3D的框，本文的创新是利用点云的稀疏的特性，在通过spconv提取特征后，不转化到dense的特征图，直接在稀疏的特征上进行3D框的预测。经验证，在常用的公开数据集上都取得了很好的效果。以常用的centerpoint模型为例，其中有，sparse to dense，虽然能有效工作，但是带来如下问题：计算资源的浪费、流程复杂、需要nms后处理。
【3D 目标检测】Voxel Transformer for 3D Object Detection
qq_36380978的博客
10-23 2730
一 核心思想 本文主要是在3Dbackbone上用到了改进的transformer方法，以便更好的提取特征。也就是在sparsevoxelmodule和submanifoldvoxelmodule的基础上使用transformer进行特征的提取。 提出两种attention的机制，分别为LocalAttention和 DilatedAttention。之后通过Fast VoxelQuery的方法加速queryingprocess的进程（这里之后会详细叙述。）。 VoTr包含一系列的...
3D感知（13）详解3D物体检测模型: Voxel Transformer for 3D Object Detection
10点43的博客
04-13 7237
论文链接为：https://arxiv.org/pdf/2109.02497.pdf 项目链接为：https://github.com/PointsCoder/VOTR
Voxel Transformer for 3D Object Detection
without_doubt的博客
10-25 331
这里写自定义目录标题Voxel Transformer for 3D Object Detection Voxel Transformer for 3D Object Detection
【论文阅读】【3d目标检测】Voxel Set Transformer: A Set-to-Set Approach to 3D Object Detection from Point Clouds
hgj1h的博客
04-21 2159
论文标题：Voxel Set Transformer: A Set-to-Set Approach to 3D Object Detection from Point Clouds cvpr2022 transformer用在点云上面逐渐成为一种新的趋势 本文就是用transformer做3d目标检测。 作者首先分析了现有的一些方法 直接在点云上逐个点用transformer是行不通的 因为实在是太大了 而现有的一些方法 例如将点云group后做trans 又难免遗漏一些点 将点云转化为voxel 进行
探索无尽的3D像素世界：Awesome Voxel项目
gitblog_00065的博客
06-04 516
探索无尽的3D像素世界：Awesome Voxel项目 在数字化艺术和游戏开发的世界中，Voxel（体素）正逐渐成为一种新的潮流。相较于传统的多边形建模，Voxel提供了一种高效且富有表现力的方式去构建3D场景。如果你对Voxel技术充满热情，那么你一定不能错过这个名为Awesome Voxel的开源项目集合。 项目介绍 Awesome Voxel是一个综合性的资源库，聚集了一系列与Voxel相关...
VoTr:Voxel Transformer for 3D Object Detection 论文解读
ko_gu_dao的博客
04-21 5481
···abstract 本文提出来voxel-based transformer 主骨干，叫做Voxel Transformer（VoTr）。3D卷积在voxel-based（体素系列）不能够有效捕捉大范围信息，由于感受野的限制。所以提出来将自注意力机制应用与voxel中，即transformer-based的结构能够解决这个问题。直接应用标准的transformer不可行，所以提出改进the sparse voxel module和 the submanifold voxel model...
《探索未来3D感知：Voxel Transformer深度解析与实践》
gitblog_00027的博客
05-28 485
《探索未来3D感知：Voxel Transformer深度解析与实践》 1、项目介绍 Voxel Transformer，这是一个针对3D对象检测的创新开源实现，源自ICCV 2021年的一篇研究论文。该项目提供了VoTr-SSD和TSD两种模型在KITTI和Waymo Open数据集上的代码和训练配置。开发者请注意，尽管检查点不会公开，但项目提供了完整的复现路径，帮助研究者理解并应用这项技术。 ...
Godot-Transvoxel-Implementation:尝试在Godot GD-Script中实现Transvoxel算法
04-09
Godot-Transvoxel的实现 尝试在Godot GD-Script中实现Transvoxel算法。
Transvoxel算法的Rust实现_rust_代码_下载
06-11
问题的简要描述 当使用 Marching Cubes 为不同细节级别的相邻块独立提取网格时，网格通常在块的连接处不匹配，从而导致可见的孔洞： Transvoxel 算法允许为大部分具有行进立方体 的块生成网格，但增加了块的一个或多个外表面的细节，以便与相邻块的网格匹配： 范围 该库仅提供用于提取块的网格的功能，独立于其他块。要实现完全一致的动态详细级别系统，您可能还需要： 决定需要渲染和生成网格的块，以及分辨率（通常取决于相机位置和/或方向） 跟踪自己的约束： 两个渲染的相邻块只能具有相同的分辨率，或者一个具有另一个分辨率的两倍 在第二种情况下，低分辨率块也必须在高分辨率块的方向上使用过渡面进行渲染 目前，在不重新提取新网格的情况下，不可能“翻转”块上的过渡面状态为块。这意味着更改一个块的分辨率可以通过约束级联到重新生成其他几个块
Python实现VoxelSpace：不到20行代码的3D地形渲染教程
最新发布
weixin_42465140的博客
08-12 310
Voxel，作为三维空间中的一个概念，是“Volume”（体积）和“Pixel”（像素）两个词的结合体。它代表了三维图像中的基本单元，可以视作体积空间中的一个点，拥有位置、颜色、材质等属性。Voxel与传统2D图像中的Pixel相比有以下特点：位置属性：每个Voxel在三维空间中拥有独立的坐标，而不是单一的X和Y坐标。数据丰富度：Voxel携带的信息更加丰富，因为除了颜色外，它还可以包含体积、材质、密度等属性。空间占用。
Voxel Terrain：基于Marching Cubes和Transvoxel算法的体素地形项目
gitblog_00368的博客
01-09 452
Voxel Terrain：基于Marching Cubes和Transvoxel算法的体素地形项目 项目基础介绍 Voxel Terrain 是一个开源项目，它旨在实现基于Marching Cubes和Transvoxel算法的体素地形生成与渲染。该项目采用C++作为主要的编程语言，并且使用了CMake作为构建系统，以确保项目的可配置性和跨平台兼容性。 项目核心功能 地形生成：利用体素数据生成...
PVTransformer
whaosoft143ai的博客
05-09 221
为了解决基于池化的PointNet架构的局限性，本文引入了PVTransformer，这是一种基于Transformer [29] 的新型注意力点-体素架构，用于3D目标检测。值得注意的是，与其他基于Transformer的点网络如Point Transformer [32] 使用池化来聚合点不同，PVTransformer旨在学习特征聚合函数，而无需依赖启发式的池化操作。本文证明了这种点到体素的Transformer比简单的PointNet池化层更具表现力，因此在性能上远远超过了以往的3D目标检测器。
3D点云目标检测：VoxelNext解读
zhaoguanhua的博客
11-27 2506
voxelnext论文阅读
深度学习方法中 3D目标检测 数据预处理综述
chuoji2469384644的博客
07-16 925
这一篇的内容主要要讲一点在深度学习的3D目标检测网络中，我们都采用了哪些数据预处理的方法，主要讲两个方面的知识，第一个是representation，第二个数据预处理内容是数据增广。 作为本篇博文的引言，我们先给一种博主制作的比较重要的3D检测方法图鉴，如下，就笔者的个人理解，今年的CVPR出现了很多的one-stage的方法，同时出现了很多融合的方法，这里的融合有信息融合，有representation融合，同时根据近两年的发展来看,voxel-based的方法占据了主导地位，这是得益于卷积...
CVPR2023 | 70+目标检测论文及代码整理
热门推荐
04-28 1万+
CVPR2023目标检测相关70+论文及代码整理
voxel transformer for 3d object detection
06-28
回答1：</h3><br/>“Voxel Transformer for 3D Object Detection”指的是一种利用体素变换技术进行三维物体检测的方法。通过将三维物体表示为体素化的三维网格，然后对每个体素进行特征提取和变换，最终通过分类和...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值