NeRF-RPN：NeRFs中3D目标检测的通用框架

最新推荐文章于 2025-04-02 09:22:48 发布
原创 最新推荐文章于 2025-04-02 09:22:48 发布 · 1.5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#目标检测 #3d #深度学习 #计算机视觉 #人工智能

NeRF-RPN是首个将区域提议网络（RPN）引入NeRF（神经辐射场）的通用3D目标检测框架。该框架直接从NeRF的3D体积特征中回归目标边界框，无需额外的图像渲染。通过实验，论文展示了NeRF-RPN在不同主干网络、RPN头和损失函数上的有效性，并构建了一个新的室内NeRF数据集用于3D目标检测。这种方法能在115ms内处理NeRF场景，同时保持高召回率。

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【目标检测】技术交流群

后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D检测综述！

e26607c6dc4edab9f0293e84fe0d9a2a.png

摘要

本文介绍了首个基于NeRF的通用目标检测框架NeRF-RPN。给定预先训练的NeRF模型，NeRF-RPN旨在检测场景中目标的所有边界框。通过利用结合多尺度3D神经体积特征的新颖体素表示，论文证明了可以直接回归NeRF中目标的3D边界框，而无需在任何视点渲染NeRF。NeRF-RPN是一个通用框架，可用于检测没有类标签的目标。论文使用各种主干架构、RPN头设计和损失函数对NeRF-RPN进行了实验。所有这些都可以以端到端的方式进行训练，以估计高质量的3D边界框。为了促进NeRF目标检测的未来研究，论文构建了一个新的基准数据集，该数据集由合成数据和真实数据组成，并进行了仔细的标记和清理。

总结来说，本文的主要贡献如下：

  • 首次将RPN引入NeRF用于3D目标检测和相关任务；

  • 基于现有合成室内数据集Hypersim[46]和3D-FRONT[11]以及真实室内数据集ScanNet[5]和SceneNN[19

最低0.47元/天 解锁文章
NeRF-RPN：一个通用的目标检测框架
深度学习与计算机视觉
09-21 1231
论文标题：NeRF-RPN: A general framework for object detection in NeRFs代码：https://github.com/lyclyc52/NeRF_RPN图1：在NeRF上的 Region proposal 结果视频演示效果：https://www.youtube.com/watch?v=M8_4Ih1CJjENeRF: 火爆科研圈的三维重建技术...
通用 3D 目标检测框架
It is me 的博客
12-14 290
Det3D- 首个通用3D目标检测框架 (已开源) https://bbs.cvmart.net/topics/1361
【论文笔记】NeRF-RPN: A general framework for object detection in NeRFs
weixin_45657478的博客
09-22 924
【论文笔记】NeRF-RPN: A general framework for object detection in NeRFs
3D目标检测框架综述（OpenPCDet、mmdet3d、Det3D、Paddle3D）
CV_Autobot的博客
10-09 7442
作者|双愚 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/569189196点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【标定工具】获取2D检测/分割/关键点，3D点云检测分割标注工具！3D目标检测示例(from Paddle3D)2D目标检测是一个比较成熟的领域，相关的目标检测框架非常多，比...
3D目标检测框架VoteNet
light169的专栏
04-15 938
3D目标检测框架VoteNet 参考 https://blog.youkuaiyun.com/wqwqqwqw1231/article/details/101283243 Charles R. Qi，Or Litany，何恺明，Leonidas J. Guibas等 当前主流的3D目标检测方法，很大层度上受2D检测器的影响。充分利用2D检测器提取3D建议框，或将3D点云转换为规则的网格或利用2D图...
CVPR 2023 | Uni3D: 首个多数据集3D目标检测框架
阿木寺的博客
03-27 2691
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【3D目标检测】微信技术交流群本文将为大家介绍上海人工智能实验室交通平台组ADLab-CVPR-2023最新中稿论文-Uni3D，以及3DTrans代码库中关于Multi-dataset 3D Detection算法的构建。Uni3D: A Unified Baseline for Multi-dataset 3...
从零实现一个3D目标检测算法（1）：3D目标检测概述
热门推荐
10点43的博客
07-10 1万+
PointPillar( (vfe): PillarFeatureNetOld2( (pfn_layers): ModuleList( (0): PFNLayer( (linear): Linear(in_features=10, out_features=64, bias=False) (norm): BatchNorm1d(64, eps=0.001, momentum=0.01, affine=True, track_running_stats.
3D 目标检测
light169的专栏
04-15 8897
参考： 3D检测入门知识梳理
3D目标检测~模型汇总
whaosoft143ai的博客
10-17 802
这是一篇来自Deep Vision Lab文章，发表在了CVPR2023上。作者发现了3D Spconv中应用的大卷机核时，并不如2D任务中一样那么有效。为了应对这些挑战。提出了。HIP的策略是逐阶段识别难以处理的实例。初始阶段，有一组地面实际目标对象O以及一组初始目标候选项A。神经网络在每个阶段根据这些候选项进行正面或负面的预测，其中候选项可以是各种类型，不仅限于锚点。每个阶段会产生一组已检测到的目标，然后根据它们与实际目标的匹配关系来分类实际目标。这种匹配可以使用不同的度量标准和阈值来实现。未匹配的实际
ICCV2021 | 单目3D目标检测框架GUPNet解析
CV_Autobot的博客
07-29 948
作者|Kwong 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/545796074点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取文章出自于ICCV2021：Geometry Uncertainty Projection Network for Monocular 3D Object Detection[1]。...
【论文笔记】NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection
weixin_45657478的博客
09-22 1422
【论文笔记】NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection
ICCV2023 | MonoNeRD: NeRF-like Representations for Monocular 3D Object Detection
usernameisnotexist的博客
03-13 767
本文提出了一种新颖的室内3D目标检测方法，该方法仅使用RGB图像作为输入。作者提出利用神经辐射场（NeRF）来显式估计3D几何形状，以提高检测性能。他们引入了几何先验来增强NeRF的泛化能力，并通过共享的多层感知器（MLP）连接检测和NeRF分支，使NeRF能够高效地适应检测任务。该方法在基准数据集上超越了现有的最先进方法，并且能够在不进行场景特定优化的情况下很好地泛化到未见过的场景。文档提供了相关工作的概述，并详细描述了所提出的NeRF-Det方法。
基于深度学习的3D目标检测与跟踪
一点人工一点智能的博客
04-30 2914
目标检测和跟踪对于自动驾驶来说是至关重要和基础的任务，旨在从场景中识别和定位出那些预定义类别的对象。在所有形式的自动驾驶数据中，3D点云学习引起了越来越多的关注。目前，有许多用于3D目标检测的深度学习方法。然而，鉴于点云数据的独特特性，点云的目标检测和跟踪任务仍需要深入研究。
基于立体R-CNN的自动驾驶三维目标检测
wouderw的博客
10-24 431
摘要 本文充分利用立体图像中的稀疏、密集、语义和几何信息，提出了一种用于自动驾驶的三维目标检测方法。我们的方法，称为 Stereo R-CNN，扩展了 Faster R-CNN 用于立体输入，以同时检测和关联左右图像中的目标。我们在立体区域建议网络(RPN)之后增加额外的分支来预测稀疏的关键点、视点和对象尺寸，并结合左右图像中的2D边界框来计算粗略的3D目标边界框。然后，我们通过使用左右感兴趣区域的基于区域的光度对齐来恢复准确的3D边界框。我们的方法不需要深度depth输入和3D位置监督，但是，它的性能优于
【亲测免费】 NeRF_RPN：3D物体检测新框架
最新发布
gitblog_00416的博客
04-02 954
NeRF_RPN：3D物体检测新框架 项目介绍 NeRF_RPN 是一种面向 NeRF（神经辐射场）的通用 3D 物体检测框架。该框架引入了 RPN（区域提议网络）到 NeRF 中，以实现更精确的三维物体检测及相关任务。NeRF_RPN 的提出，为 NeRF 的物体检测开辟了新的可能性，并有望推动相关领域的技术进步。 项目技术分析 NeRF_RPN 的技术核心在于将传统的区域提议网络（RPN）应用...
麻省理工最新！NeRF-SLAM: 具有神经辐射场的实时密集单目SLAM
CV_Autobot的博客
11-26 1444
作者| 汽车人 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/583419503点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【SLAM】技术交流群后台回复【SLAM综述】获取视觉SLAM、激光SLAM、RGBD-SLAM等多篇综述！1论文思路：本文提出了一种新颖的几何和光度3D映射pipeline，用于从单目图像...
关于NeRF方向的三维重学习笔记
大胡子大叔的专栏
03-25 1519
由光源发出的光线在场景中的传播和反射过程中所形成的。通俗来说就是一个函数，记录了空间某个位置处向某个方向的辐射信息，辐射信息（或者说能量分布）其实就是颜色、亮度、阴影等信息。：用空间向任意的辐射。NeRF是，因为模型是储存在MLP里面的，模型就是MLP的参数，这和以往点云和不同（点云/mesh是可以直接看到模型的）。NeRF必须查询一个个的三维点，然后渲染成一张图像。这种或者说就叫。
3D Human Reconstruction Method 之 NeRF（简介）
xxw23的博客
11-14 1742
NeRF介绍： NeRF函数是将一个连续的场景表示为一个输入为5D向量的函数，输入是3D location x = (x, y, z) 和2D viewing direction (θ, φ),输出是color c = (r, g, b) 和volume density σ。这个神经网络可以写作： 在具体的实现中，首先输入到MLP网络中，并输出和中间特征，中间特征和再输入到额外的全...
使用NeRF进行3D体素渲染
葫芦与瓢的博客
04-06 6150
使用NeRF进行3D体素渲染 文章目录使用NeRF进行3D体素渲染前言一、设置二、下载并载入数据３.数据处理流程四、NeRF模型五、训练六、训练步骤可视化七、推理八、渲染3D场景九、视频可视化总结 前言 在这个例子中，我们展示了文献NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis的最小实现。作者提出了一种巧妙的方法，通过神经网络对体积场景函数进行建模，从而合成场景的新视图。 为了帮助您直观地理解这一点，让我们从以
NeRF-Simple: 简易PyTorch版本神经辐射场实现介绍
文件中提供了两种安装NeRF-Simple项目的方法，分别是使用Git和使用Docker。 - 使用Git的安装方法分为两个步骤： 1. 通过Git克隆NeRF项目的仓库到本地计算机。 2. 在项目目录下运行`pip install -r environment....
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值