【论文阅读】【3d目标检测】从votenet到MLCVNet再到Pointformer

最新推荐文章于 2025-06-27 02:17:11 发布
原创 最新推荐文章于 2025-06-27 02:17:11 发布 · 1.3k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文对比了MLCVNet与Pointformer在3D对象检测中的创新，MLCVNet利用自注意力模块提升点云特征融合，GSC模块增强场景理解；Pointformer以UNet为基础，集成局部和全局特征，运用Linformer降低计算复杂度。两者在信息提取和效率上各有特色。

论文题目：MLCVNet: Multi-Level Context VoteNet for 3D Object Detection

论文题目：3D Object Detection with Pointformer

两篇文章要对比着来看

首先，我们来看看mlcvnet做了些什么
万物的起源：mlcvnet将attention模块引入了点云目标检测中：
在这里插入图片描述
文章主要由三个部分组成：ppc ooc及GSC
首先我们利用pointnet++作为backbone生成一系列的patches，这些patch的生成显然是通过一层层叠加的SA层得到的，他们有着周围信息的丰富语义信息。
将他们打包输入到PPC中。
之前提出的votenet是怎么对这些patch进行操作的呢？
他主要是采用了一个vote block的环节，将这些patch作为输入，同时回归物体中心的偏移量，这个预测值是通过mlp模仿hough voting过程得到的。
而本文中则采用的是一个自注意力模块，提取patch之间的信息。
具体的操作如下所示：
在这里插入图片描述
在这里插入图片描述
这一块主要是通过CGNL模

最低0.47元/天 解锁文章
论文速读系列一：VoteNet、CBGS、BirdNet、StarNet、STD
Clichong
12-07 1680
如有错误，恳请指出。参考网上资料，对一些经典论文进行快速思路整理参考网上资料，对一些经典论文进行快速思路整理paper：《Deep Hough Voting for 3D Object Detection in Point Clouds》 结构图： 思路：利用投票的思路先获取物体中心，再进行后续方向尺寸等信息预测对于点云空间的每个点都可以预测其到某个物体中心的相对距离，这个相对距离可以通过标注信息获取进行有监督训练。那么如过某个区域的大部分点其预测的中心都比较接近，这个中心大概率是某个物体的中心。也就是说，
《论文阅读》MLCVNet: Multi-Level Context VoteNet for 3D Object Detection
未知丶的博客
11-10 1208
留个笔记自用 MLCVNet: Multi-Level Context VoteNet for 3D Object Detection 做什么 3D object detection。3维目标检测 对于输入的3D点云，像2D一样使用一个bounding box去将相应的物体包围起来，不过这里使用的bounding box也同样变成了3维的 做了什么 简单来说，对votenet进行一个改进 在每个点做中心点的vote之前，加了几个上下文模块来学习场景的上下文关联信息，显然这样有助于检测时的语义理解，这里
【论文阅读】3D Object Detection with Pointformer解读
毛毛的博客
08-30 2525
文章目录摘要1.介绍2.相关工作3.Pointformer3.1. Background3.2. Local Transformer3.3. Coordinate Refinement3.4. Global Transformer3.5. Local-Global Transformer3.6. Positional Encoding3.7. Computational Cost Reduction4. Experimental Results5.总结 摘要 作者提出了Pointformer，一个可以有
【论文阅读】【3d目标检测】Improving 3D Object Detection with Channel-wise Transformer
hgj1h的博客
04-22 921
标题：Improving 3D Object Detection with Channel-wise Transformer iccv2021 浙江大学 阿里达摩院 著名的CT3d 文章是在点上进行transformer，前面的文章曾说过在巨大的点云上进行tranformer计算量是巨大的 所以这篇文章玩了点小聪明 利用transformer设计refinement net 文章基于利用原始点的特征足够来进行box refinement的假设来进行行文 老规矩 上图 可以看到trans主要是用在了编码和解
CVPR2020 3D目标检测文章汇总
有所为，有所成长
06-22 7192
前言 笔者前面已经基本都介绍了今年CVPR20上接收了几篇的最新的目标检测文章，有从检测网络结构上设计的，有基于观察到目前方法遗漏的细节信息的。也有在前人的网路结构上进一步作出改进解决掉前人遗留问题的。 PVRCNN 文章地址：https://arxiv.org/pdf/1912.13192.pdf 代码地址：https://github.com/sshaoshuai/PCDet 、8】 、丰田...
清华大学提出Pointformer：基于Transformer的3D目标检测
阿木寺的博客
12-22 4926
没错！Transformer的"魔爪"已经伸向3D目标检测了。 Pointformer：用于3D点云的特征学习backbone，可结合并提高现有的3D点云目标检测网络性能，如VoteNet、PointRCNN和CBGS等。 注：文末附【Transformer】和【3D目标检测】学习交流群 Transformer最近在3D点云方向应用的工作可以看一下： 牛津大学等提出：Point Transformer 清华大学提出PCT：Point Cloud Transformer Pointformer 3
【论文阅读】【3d目标检测】point transformer
hgj1h的博客
04-22 765
论文标题：Point Transformer iccv2021 用transformer做点云工作 出于点云的随机性 transformer正好处理此类问题 但是 很显然对于大规模的点云 直接使用transformer计算量是巨大的 所以作者提出来一种新的transformer处理形式，那便是knn查找临近点。 首先 作者介绍了transformer的背景 自注意力操作主要可以分为scalar和vector attention scalar就是我们常说的注意力机制 而vector attention则还
探索3D空间的视觉新边界：Pointformer深度解析与应用推荐
gitblog_00057的博客
06-11 521
探索3D空间的视觉新边界：Pointformer深度解析与应用推荐 在三维感知领域，准确高效的物体检测一直是研究的核心。今天，我们特别推荐一个令人瞩目的开源项目——3D Object Detection with Pointformer，该项目源于CVPR 2021的创新性论文，并基于强大的MMDetection3D框架构建。 项目介绍 Pointformer是一个开创性的解决方案，它专为解决复杂...
【论文阅读】3D点云 -- VoteNet：Deep Hough Voting for 3D Object Detection in Point Clouds
magic_ll的博客
11-01 2225
​ Abstract 当前的三维目标检测方法受到二维探测器的严重影响。为了利用2D探测器中的体系结构，通常将3D点云转换为规则网格（即，转换为体素网格或鸟瞰图图像），或者依靠2D图像中的检测来提出3D框。很少有工作试图直接检测点云中的对象。 在这项工作中，我们回到第一原则，为点云数据构建一个尽可能通用的3D检测管道。然而，由于数据的稀疏性（来自3D空间中2D流形的样本），我们在从场景点直接预测边界框参数时面临一个重大挑战：3D对象质心可能远离任何曲面点，因此很难在一步中精确回归。   为了应对这一挑战，我
【论文解读】Point Transformer
lwk___123的博客
02-03 1517
自注意网络已经彻底改变了自然语言处理，并在图像分析任务（如图像分类和对象检测）方面取得了令人印象深刻的进展。受这一成功的启发，我们研究了自注意网络在三维点云处理中的应用。我们为点云设计了自注意层，并使用这些层来构建用于语义场景分割、对象部分分割和对象分类等任务的自注意网络。我们的Point Transformer设计改进了先前跨域和任务的工作。
VoteNet: Deep Hough Voting for 3D Object Detection in Point Clouds 论文笔记
phy12321的博客
12-07 1521
Deep Hough Voting for 3D Object Detection in Point Clouds Facebook AI Research ,Stanford University, 22 Aug 2019, Kaiming He1 ,3D点云检测网络 个人观点： Voting by Grouping Dependent Parts，ECCV 10 Combined obje...
三维目标检测--VoteNet增强版--MLCVNet论文解读
twn29004的博客
12-14 3254
本文首先提出了三维目标检测中对于一些含有点云数量很少的目标，人类都难以辨别，此外，大部分的网络都是单独的考虑每一个proposal，这也大大加大了网络来辨别的难度。此外，作者通过观察发现，如果能够结合上下文信息的话，我们可能能够更加简单的辨别出所需要的目标。 上图是作者用来展示上下文信息的重要性的。如果单独拿一个目标出来，人类肉眼都难以辨别这个是什么类型的目标，但是如果知道这是一个餐厅的话，有60%的概率能够辨别出来是椅子，如果能够知道这个目标周围有社么的话，有85%.
MLCVNet: Multi-Level Context VoteNet for 3D Object Detection
m0_63520910的博客
04-16 498
对于输入的3D点云，像2D一样使用一个bounding box去将相应的物体包围起来，不过这里使用的bounding box也同样变成了3维的。 研究了什么 是对三维目标的检测，准确来说，是加入了对上下文环境后对三维目标的检测。这样提高了检测的准确性。 研究方法是什么 应该是VoteNet的改进。以VoteNet为基本方法，加入了三个子模块，分别为PPC,OOC,GSC模块。 过程是什么 整体结构分为了：特征提取模块、上下文模块、抑制模块（和...
【论文阅读】【3d目标检测】An End-to-End Transformer Model for 3D Object Detection
hgj1h的博客
04-25 1366
论文标题：An End-to-End Transformer Model for 3D Object Detection facebook ai iccv2021 源码地址：https://facebookresearch.github.io/3detr DETR同组出品，其实结构也很2d版本的基本一样，作者实验做的挺详尽的，不过还有一些地方我没看明白，记下来和大家交流一下： 作者发现transformer2d的目标检测上有了良好的效果 那么对于3d目标检测呢 是否可以用同样的方法进行目标检测呢？也就是首
《论文阅读》Point Transformer
未知丶的博客
02-14 9830
留个笔记自用 Point Transformer 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 怎么做 总结 ...
CVPR 2021 | 论文大盘点：3D目标检测
3D视觉工坊
09-28 4247
作者丨我爱计算机视觉@知乎来源丨https://zhuanlan.zhihu.com/p/389319123编辑丨3D视觉工坊本篇汇总 3D 目标检测相关论文，包含基于单目、基于深度图、基...
**深入探索MLCVNet：为三维物体检测开辟新天地**
gitblog_00099的博客
06-24 414
深入探索MLCVNet：为三维物体检测开辟新天地 MLCVNet[CVPR 2020] MLCVNet: Multi-Level Context VoteNet for 3D Object Detection项目地址:https://gitcode.com/gh_mirrors/ml/MLCVNet 在日益发展的计算机视觉领域中，三维物体检测已成为研究热点之一，尤其在室内场景理解方面展现出了巨大...
MLCVNet: 用于3D目标检测的开源项目
gitblog_01155的博客
12-29 391
MLCVNet: 用于3D目标检测的开源项目 MLCVNet 是一个针对3D目标检测的开源项目，该项目基于深度学习技术，采用 Python、Cuda 等编程语言开发，旨在为研究者和开发者提供一种高效准确的3D物体检测方法。 项目基础介绍 MLCVNet 项目是 [CVPR 2020] 会议论文《MLCVNet: Multi-Level Context VoteNet for 3D Object D...
论文笔记（八十八）MLCVNet: Multi-Level Context VoteNet for 3D Object Detection
最新发布
xzs1210652636的博客
06-27 1322
本文提出了一种基于多层次上下文的3D目标检测网络MLCVNet，通过自注意力机制和多尺度特征融合，在点云补丁、目标候选和全局场景三个层次上捕捉上下文信息。该方法在VoteNet框架中引入三个模块：补丁到补丁上下文模块(PPC)利用自注意力建模点补丁关系；目标到目标上下文模块(OOC)编码对象间的共存关系；全局场景上下文模块(GSC)学习场景级语义线索。实验表明，这些模块协同作用显著提升了检测精度，在SUN RGB-D和ScanNet数据集上达到新的最优性能。代码已开源。
DeepFusion: 解密3D目标检测的多模态融合与特征对齐
本文主要解析了在2022年的CVPR会议上的一篇名为"DeepFusion: Lidar-Camera Fusion for Multi-Modal 3D Object Detection"的论文，该研究着重于解决雷达和图像数据在3D目标检测中的多模态融合问题。雷达与图像作为...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值