【论文阅读】【3d目标检测】Group-Free 3D Object Detection via Transformers

最新推荐文章于 2025-12-18 20:55:52 发布
原创 最新推荐文章于 2025-12-18 20:55:52 发布 · 4.3k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #深度学习 #计算机视觉 #自动驾驶

本文介绍了一种无需手工group的3D对象检测方法，针对Votenet中knn聚类的问题，提出使用Transformer进行点云特征操作。通过自注意力机制和交叉注意力，智能选择种子点并生成高质量提案，适应不同环境下的点云密度。实验展示了改进后的模型在速度和性能上的优势。

论文标题：Group-Free 3D Object Detection via Transformers

iccv2021
本文主要是针对votenet等网络中采用手工group的问题提出的改进
我们首先回忆一下vote中group是怎么做的：首先选出vote种子后进行采样与聚类 采样与聚类的方式一般是knn寻找vote种子的临近点 请注意 这里的选取的group数 和聚类临近点的数目都是我们手工设计的
那么这么设计会有一些什么不好的地方呢？ 首先vote数目是fps选取出来的 为了选取到覆盖所有目标的vote 我们必须要选择足够多的vote 这样便会在背景点上选择不少vote 进行聚类生成质量很差的proposals
其次 这些选取的超参数是否是最优的呢 我们需要进行大量的对比实验 而且一个算法在室内与室外环境下应用这样的超参数也是不太能直接移植的 因为两种环境下点云的密度是不一样的。
例如下图中 我们可以看到对于中心临近的物体 他很容易选择到其他物体上的点：
在这里插入图片描述
那么 如何根据物体进行点的选取呢？
这便是这篇文章做的事情。
老规矩 上图
在这里插入图片描述
文章的结构很类似votenet 主要创新在于vote种子的选取及种子之间的feature操作
首先简单介绍一下backbone 主要是首先利用pointnet++的sa层进行8倍下采样 随后上采样至2x得到1024个点 对于这1024个点我们选取vote种子点 文章提出了三种方法 首先是进行fps选取最远的k个点 其次是选取k个种子点 简单来说就是选取最邻近物体中心的k个点 这便涉及到

最低0.47元/天 解锁文章
【三维目标检测模型】Group-Free-3D
叶子的博客
08-18 516
Group-Free-3D详细解析，含python源码详细解读。
无需Grouping，中科大和微软亚研院提出Group-Free的三维物体检测方法，性能远超之前最好方法。...
Paper weekly
04-16 1366
©PaperWeekly 原创 ·作者｜刘泽学校｜微软亚洲研究院实习生研究方向｜计算机视觉与深度学习无需 Grouping，中科大和微软亚研院提出 Group-Free 的三维物体检测方...
Group-Free-3D:通过变压器进行无组3D对象检测
04-06
通过变压器进行无组3D对象检测 ，，，，。 此仓库是的正式实施。 更新 2021年4月1日：初始版本。 介绍 近来，从3D点云直接检测3D对象已受到越来越多的关注。 为了从不规则点云中提取对象表示，现有方法通常采取点分组步骤将这些点分配给候选对象，以便可以使用类似PointNet的网络从分组的点中导出对象特征。 但是，由手工分组方案引起的不正确的点分配会降低3D对象检测的性能。 在本文中，我们提出了一种简单而有效的方法，用于直接从3D点云中检测3D对象。 我们的方法不是将局部点分组到每个候选对象，而是借助Transformers中的注意力机制从点云中的所有点计算对象的特征，在网络训练中自动学习每个点的贡献。 通过改进的注意力叠加方案，我们的方法在不同阶段融合了对象特征，并生成了更准确的对象检测结果。 很少有麻烦，所提出的方法就可以在两个广泛使用的基准（ScanNet V2和SUN RG
ICCV2021 Group-Free 3D Object Detection via Transformers
qq_46003043的博客
05-22 831
代码： https://github.com/zeliu98/ Group-Free-3D 数据集：scannet，sunrgbd 1.摘要 直接从点云中检测3D对象引起关注，为了从不规则点云中提取对象的特征，现有的方法通常有点云分组的步骤，来为一个对象候选分配一组点，然后使用后类似pointnet的网络从分组的点中提取候选特征，但是这种基于分组的方法有个问题，很多分组的方式都是基于手工设计的分组方式，这种不精确的分组会使网络性能下降。 比如pointrcnn，votenet都是手工为对象候选
Mindspore的Group-Free-3D
weixin_43702015的博客
06-19 309
本文的cross-attention模块中，query，key，value则不相同，query来自于经过KPS采样过后的特征，而key和value则是来自于pointnet++中第二个fp层的输出特征。而在Group-Free-3D中，作者首先让输入点云经过四层sa模块，提取特征，然后使用两次fp模块做上采样，得到相当于原始输入点数一半M的点云特征。直接输入点云数据（N，D），N是点云文件中点的数量，一般在万级，D则是特征维度，一般是x,y,z加一个强度，也就是4维。
3D目标检测论文方法汇总 【持续更新中~
家鸽的代码屋
05-31 8203
Automanous-3D-detection-methods 该项目地址为：https://github.com/LittleYuanzi/awesome-Automanous-3D-detection-methods 该项目主要在对近期（17年）开始的自动驾驶场景的目标检测...
[论文阅读]CenterFormer——基于center的三维目标检测Transformer
qq_53909832的博客
09-18 1万+
CenterFormer论文阅读
3D Object Detection经典论文整理【分类/下载/代码/笔记】
u013086672的博客
01-10 4265
笔者分类整理了与三维目标检测有关的经典论文和部分最新论文的PDF下载链接、开源代码、阅读笔记（部分）。笔者认为的必读经典论文通过加粗标识。论文主要按照Point-based和Voxel-based来划分，还包括一些交叉领域新的方向，比如Transformer、Self-ensembling等。
颠覆传统：无组3D对象检测Transformer实现
gitblog_00058的博客
05-27 376
颠覆传统：无组3D对象检测Transformer实现 3D对象检测在近年来越来越受到关注，尤其是在自动驾驶和虚拟现实等领域。传统的点云处理方法往往依赖于点的分组步骤，这可能会引入不准确的点分配，从而影响检测性能。现在，一种名为"Group-Free 3D Object Detection via Transformers"的方法带来了革新，它通过Transformer架构直接从...
googler 在 WSL 中的完美配置：终端搜索神器终极指南
gitblog_00182的博客
11-29 295
作为一款强大的终端搜索引擎工具，googler 让开发者能够在命令行中直接进行 Google 搜索，极大地提升了工作效率。特别是在 WSL（Windows Subsystem for Linux）环境中，googler 的配置和使用能够为开发者带来前所未有的便利体验。😊 ## 为什么选择 googler？ googler 是一个专门为终端用户设计的 Google 搜索工具，它支持在命令行界面
【亲测免费】 Group-Free 3D 项目使用教程
gitblog_00587的博客
09-04 679
Group-Free 3D 项目使用教程 1、项目介绍 Group-Free 3D 是一个用于直接从3D点云中检测3D对象的开源项目。该项目通过使用Transformer架构，避免了传统方法中需要进行点分组的步骤，从而提高了3D对象检测的性能。项目由Ze Liu等人开发，并在GitHub上开源。 2、项目快速启动 环境准备 首先，确保你已经安装了Python和必要的依赖库。你可以使用以下命令安装所...
Transformer及其变种
qq_35627757的博客
10-08 499
Transformer DETR（2D） UP-DETR（2D） VIT GroupFree3D（3D）
Group-Free 3D 项目常见问题解决方案
gitblog_00116的博客
12-30 624
Group-Free 3D 项目常见问题解决方案 1. 项目基础介绍及主要编程语言 项目介绍： Group-Free 3D 是一个基于Transformer的三维物体检测开源项目。该项目通过Transformer的注意力机制，直接从三维点云中检测物体，避免了传统方法中手工设计的点分组步骤。这种方法在ScanNet V2和SUN RGB-D两个常用基准测试中取得了最先进的三维物体检测性能。 主要编程...
opengl实现3d点云_3D实例分割
weixin_39969953的博客
11-13 386
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。书的购买链接书的勘误，优化，源代码资源本文PDF全文链接：3D实例分割本文作者：岳麓青年3D实例分割3D语义分割区分场景中各类对象，3D实例分割区分场景中各类别中的各种个体。近两年来，3D实例分割的关注度越来越高，相应的方法也被接连提出。众多方法的思想主要分为两类...
3D点云实例分割
碧落的博客
01-07 1万+
3D点云实例分割 3D语义分割区分场景中各类对象，3D实例分割区分场景中各类别中的各种个体。近两年来，3D实例分割的关注度越来越高，相应的方法也被接连提出。众多方法的思想主要分为两类：基于候选区域的实例分割（proposal-based）和免候选区域的实例分割（proposal-free）。其中，proposal-based先获取场景中的感兴趣的候选区域，如：3D bounding boxes等...
[目标检测]End-to-End Object Detection with Transformers文献解读（2020）
qq_42575422的博客
12-05 3283
1、 为什么要做这个研究（理论走向和目前缺陷） ? 以前做目标检测主流是faster rcnn之流要做anchor和NMS等手工设计。 2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ? 将目标检测问题视为集合预测问题，所预测的集合中的每个元素即每个GT集合中的元素一一对应，且每个元素输出的是相对整个图像的位置、尺寸，避免了NMS和anchor设计。 具体做法就是CNN主干网络对输入图片提取特征，然后将每个特征的位置信息加上一并输入到Transformer中，输出固定个数的预测结果，每个预测结果不
CVPR2020论文分方向整理之检测篇_3D目标检测（代码/论文解读/136篇打包下载）
热门推荐
胭脂草的ABC博客
08-06 1万+
CVPR2020论文分方向整理之检测篇（代码/论文解读/136篇打包下载） 本周三，CVPR官方正式开放下载，极市第一时间将所有论文（共1467篇）进行了下载打包，详情见此处。为了方便大家进一步的学习，我们对这1467篇论文进行了整理，本次分享的是所有检测类论文，并将它们细分为3D目标检测、人脸检测、动作检测、视频目标检测、文本检测、行人检测等方向，同时附上了相关解读和已开源论文的代码，共计149篇，并将其打包，获取方式见文末。 3D目标检测 【1】Learning Deep Network...
MMdetection 3d修改验证模型的间隔
weixin_44715117的博客
05-18 1817
前言 最近在用商汤的MMdetection3d来跑模型，有集成代码给自己用是挺好的，但是也正是因为集成代码，改起来比较麻烦。在MMdetection3d中，默认训练一个轮次，验证一个轮次，修改工作流也不行，即workflow = [('train', 1)]改为[('train', 1), ('val', 1)]。这里官方也给出解释了，[('train', 1), ('val', 1)]表示的是在训练一个轮次后，验证一次，计算验证集的损失和精度，而[('train', 1)]则是训练一个轮次，验证一次，给出
【计算机视觉（16）】语义理解-训练神经网络1_激活_预处理_初始化_BN
最新发布
hiliang521的博客
12-18 660
【计算机视觉（16）】语义理解-训练神经网络1_激活_预处理_初始化_BN
复现End-to-End Object Detection with Transformers
10-17
End-to-End Object Detection with Transformers即DETR方法。要复现该论文中的目标检测方法，可按以下步骤进行： ### 1. 了解论文核心要点 DETR一次性预测所有目标，并使用集合损失函数进行端到端训练，该损失函数在预测目标和真实目标之间进行二分匹配。其主要特征是二部匹配损失和非自回归并行解码的transformer的结合，通过去除多个编码先验知识的手工设计组件（如空间锚框或非极大值抑制）来简化检测流程，且不需要任何定制层，可在包含标准CNN和变换器类的任何框架中轻松复现 [^2][^3]。 ### 2. 获取论文和代码 论文链接为：https://arxiv.org/pdf/2005.12872.pdf，代码链接为：https://github.com/facebookresearch/detr [^1]。 ### 3. 环境搭建 通常需要安装Python环境以及深度学习框架（如PyTorch），还有一些依赖库，可根据代码仓库中的`requirements.txt`文件进行安装。示例安装命令如下： ```bash pip install -r requirements.txt ``` ### 4. 数据准备 准备适合目标检测的数据集，如COCO数据集。需要将数据集按照一定的目录结构放置，以便代码能够正确读取。 ### 5. 模型训练 按照代码仓库中的说明，使用准备好的数据集进行模型训练。一般会有训练脚本，例如： ```bash python main.py --coco_path /path/to/coco --batch_size 2 --output_dir output ``` 其中`--coco_path`指定数据集路径，`--batch_size`指定批量大小，`--output_dir`指定输出目录。 ### 6. 模型评估 训练完成后，使用测试集对模型进行评估，以验证模型的性能。评估脚本一般也在代码仓库中，可按照说明执行。 ### 7. 模型推理 使用训练好的模型对新的图像进行目标检测推理，获取检测结果。示例推理代码可能如下： ```python import torch from models import build_model from PIL import Image import torchvision.transforms as T # 加载模型 model, _, _ = build_model(args) checkpoint = torch.load('path/to/checkpoint.pth') model.load_state_dict(checkpoint['model']) model.eval() # 图像预处理 transform = T.Compose([ T.Resize(800), T.ToTensor(), T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) # 加载图像 image = Image.open('path/to/image.jpg') image = transform(image).unsqueeze(0) # 推理 with torch.no_grad(): outputs = model(image) # 处理输出结果 # ... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值