PV-RCNN论文和逐代码解析（一）

已于 2023-12-12 07:32:52 修改
阅读量9.3k 收藏 91
点赞数 31
CC 4.0 BY-SA版权
分类专栏： 3D感知论文分析与代码实战 文章标签： 视觉检测 人工智能 自动驾驶 深度学习
于 2022-03-11 11:21:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41366026/article/details/123349889
PV-RCNN结合了voxel-based的高效编码和point-based的定位精度，通过3D CNN与set abstraction操作，实现3D物体检测。文章详细解析了网络结构，包括voxelization、MeanVFE、VoxelBackBone8x等，并提供了代码注释链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、前言

        当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。

        grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND , Fast PointRCNN， Part A^2 Net）或者转化成 2D的BEV特征图（PIXOR, HDNet，PointPillars），这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。

        point-based的方法主要由PointNet和他的变形作为特征提取器来直接的从原始的点云数据中提取基于点的特征，主要有PointRCNN，STD, F-PointNet。

        一般来说，基于grid-based的方法可以获得更好的计算效率，但是由于进行voxelize的量化操作，不可避免的导致信息丢失，使得网络的定位精度下降；而point-based的方法因为通过Set Abstraction操作拥有可变的感受野，使特征拥有良好的定位信息，然而基于Point-based的方法不可避免的会带来更大的计算量。

&nbs

了解本专栏 订阅专栏 解锁全文 超级会员免费看
PV-RCNN论文和逐代码解析（二）
NNNNNathan的博客
03-13 5582
第一阶段： 1、MeanVFE （voxel特征编码） 2、VoxelBackBone8x（3D CNN 提取voxel特征） 3、HeightCompression（高度方向Z轴堆叠） 5、BaseBEVBackbone（SECOND中的RPN层） 6、AnchorHeadSingle（anchor分类和回归头） 4、VoxelSetAbstraction（VSA模块，对不同voxel特征层完成SA） 第二阶段： 7、PointHeadSimple Predicted Keypoint..
SECOND点云检测代码详解
热门推荐
NNNNNathan的博客
03-07 1万+
1、前言 SECOND也是一片基于Voxel按anchor-based的点云检测方法，网络的整体结构和实现大部分与原先VoxelNet相近，同时在VoxelNet的基础上改进了中间层的3D卷积，采用稀疏卷积来完成，提高了训练的效率和网络推理的速度，同时解决了VoxelNet中角度预测中，因为物体完全反向和产生很大loss的情况；同时，SECOND还提出了GT_Aug的点云数据增强。没有了解过VoxelNet的小伙伴可以查看我的这篇文章： VoxelNet点云检测详解_NNNNNathan...
[3D检测系列-PV-RCNN] PV-RCNN论文详解、PV-RCNN代码复现、包含官网PV-RCNN预训练权重及报错问题
Callme_TeacherPi
07-31 5157
[3D检测系列-PV-RCNN] PV-RCNN论文详解、PV-RCNN代码复现、包含官网PV-RCNN预训练权重及报错问题 一、论文详解2、体素到关键点场景编码2.1、关键点抽样2.2、体素抽象3、VSA模块(体素集抽象模块)3.1、预测关键点权重4、提案细化的关键点到网格RoI特征抽象4.1、通过集合抽象进行RoI网格池化4.2、3D提案细化和置信度预测5、训练损失二、代码复现1、Copy代码2、安装一些功能包3、数据集的准备。......
PV-RCNN++网络结构和代码解析
NNNNNathan的博客
04-22 6844
1、前言 这篇文章废话不多说了，主要史帅基于PV-RCNN上面进行的改进，本文不会从头构建网络并进行解析，对于PV-RCNN不了解的小伙伴可以先去看我之前的文章。 PV-RCNN论文和逐代码解析（一）_NNNNNathan的博客-优快云博客_pvrcnn代码复现1、前言当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND ....
点云 3D 目标检测 - SECOND（Sensors 2018）
77wpa的博客
12-29 2898
基于LiDAR或RGB-D的目标检测被用于从自动驾驶到机器人视觉的许多应用中。基于体素的3D卷积网络已被用于在处理点云LiDAR数据时增强信息的保留。然而，问题仍然存在，包括推理速度慢和方向估计性能低。因此，我们研究了一种用于此类网络的改进的稀疏卷积方法，该方法显著提高了训练和推理的速度。我们还引入了一种新的角度损失回归形式来提高方向估计性能，并引入了一个新的数据增强方法来提高收敛速度和性能。所提出的网络在KITTI 3D目标检测基准上产生最先进的结果，同时保持快速推断速度。
点云3D检测篇三：SECOND
weixin_50206562的博客
07-23 1983
点云数据与传统的图像数据不同，具有较强的稀疏性，无法使用标准的卷积神经网络进行特征提取，如图2所示。同理，考虑到2D任务中如果只处理一部分像素，标准卷积的效果也不好，需要使用2D的稀松卷积，因此本小节就从2D稀疏卷积出发，介绍一下稀疏卷积的原理，大家可以自行将其拓展到3D稀疏卷积中去，其实就多了一个深度信息D。图 2 点云数据（左）和 稀疏图像（右）由上，本小节考虑一个简单的2D稀疏卷积问题来进行讲解。输入数据：​ 定义一个 3 通道的 5 × 5 图像。
Voxel-RCNN论文和逐代码解析
NNNNNathan的博客
03-18 7495
1、前言 当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。 grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND , Fast PointRCNN， Part A^2 Net）或者转化成 2D的BEV特征图（PIXOR, HDNet，PointPillars），这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。 point-b...
PV-RCNN:聚氯乙烯
04-23
此PointVoxel-RCNN用于我们的CVPR 2020论文PointVoxel-RCNN用于从点云进行3D对象检测。 代码： 代码。 作者：石少帅，郭朝旭，李丽，王哲，石建平，王晓刚，李洪生。 抽象的 我们提出了一种新颖的，高性能的3D对象...
【论文解读】PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection
lwk___123的博客
01-22 2225
我们提出了一种新的高性能3D对象检测框架，称为PointVoxel RCNN（PV-RCNN），用于从点云中精确检测3D对象。我们提出的方法深度集成了三维体素卷积神经网络（CNN）和基于PointNet的集合抽象，以学习更具判别力的点云特征。它利用了3D体素CNN的高效学习和高质量建议以及基于PointNet的网络的灵活感受野。具体而言，所提出的框架通过新颖的体素集抽象模块将具有3D体素CNN的3D场景总结为一小组关键点，以节省后续计算并对代表性场景特征进行编码。
PV-RCNN++论文详解
JDJD_j的博客
12-14 381
相比于PV-RCNN，这篇有两个创新点，一是keypoint的采样，在PV-RCNN里是在原始点云FPS，这篇是采样原始点云再做FPS；二是局部特征提取的采样方式，前篇是用VSA模块。
PV-RCNN
xinxiang7
02-08 875
PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection Abstract PointVoxel-RCNN是一个新颖的,高表现的3D目标检测框架,从点云中检测3D目标. 我们的方法整合了voxel 3D CNN和基于PointNet的集抽象来学习更多的有鉴别行的点云特征.它充分利用了高效的学习,3D体素的CNN的高质量的proposals以及基于PointNet网络的灵活的感受野.该框架通过一个新的体素集抽象模块将三维场景与三维
【阅读笔记】PV-RCNN
敲碎键盘的博客
03-04 6027
目前在kitti数据集榜单第一名，收录在CVPR2020。与pointRCNN同作者。 1 简介 文章称该方法把point-based和voxel-based两种方法的优势结合起来，提高了3D目标检测的表现。基于体素的操作可以高效的编码多尺度特征表示并生成高质量3D提案框，基于点操作有可变的感受野故可以保留更精确的位置信息。 voxel-based（grid）优缺点：高效、但信息损失降低定位细粒度...
Second代码解读
2301_77102499的博客
05-03 627
【代码】Second代码解读。
3D目标检测(点云+体素)——PV-RCNN
qq_44799766的博客
10-31 3921
PV-RCNN论文阅读及个人分析。
【3D目标检测】PV-RCNN
可乐大牛的博客
10-11 1362
首先，本文是基于点云，并且将点云处理成体素的3D目标检测网络。PV-RCNN融合了点云特征提取中基于体素方法和基于点方法的思想，进一步提高检测的性能提出了一种voxel-to-keypoint的编码方法，该方法将一帧内的多尺度体素特征编码为一系列的关键点中。这些关键点不仅保留了准确的位置信息，还拥有丰富的全局信息，可以提高三维检测性能。提出了一种在proposal中使用的多尺度的RoI特征提取层。该层可以通过多个感受野提取丰富的上文信息，用于优化预测框和置信度评分。
论文阅读|基于点云的3D目标检测之SECOND，是对VoxelNet的改进
yanghao201607030101的博客
03-23 2028
SECOND是对VoxelNet的改进，其输入是点云，将点云离散化到体素之后，利用PointNet的VFE编码每个体素的特征构成稀疏的3D特征图，为了节约计算，利用稀疏3DCNN卷积中间层对此稀疏3D特征卷积，最后得到一个2维特征图，最后使用FPN检测头做定位、分类和定向三个子任务。
论文总结--PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection
m0_60799447的博客
11-11 856
PV-RCNN结合了两种主流方法的优点：体素（Voxel）网络和点（Point）网络，以更好地提取3D点云的特征。
论文阅读笔记 | 三维目标检测——PV-RCNN算法
Clichong
12-08 1819
基于voxel（paper中提到的是grid-based）的方法计算效率更高，但不可避免的信息损失降低了细粒度定位精度；而基于point的方法计算成本更高，但是通过PointNet++中的SA层（set abstraction layer）可以实现更大的感受野（这种说法是首次提出的）。 PV-RCNN的想法也是同时结合这两种方法的优势，取其所长，利用voxel-based操作进行有效的多尺度信息编码，生成高质量的3d候选框；同时利用改进的set abstraction模块操作保留精确的位置信息和灵活的感受
deformable pv-rcnn论文
最新发布
03-14
### Deformable PV-RCNN的主要贡献和特点 Deformable PV-RCNN旨在通过学习到的变形来提升3D物体检测的效果[^1]。此模型引入了一种新颖的方式，即利用可变形卷积核自适应调整感受野，从而更好地捕捉不同形状的目标对象特性。这种机制使得网络能够更加灵活地处理复杂场景下的目标变化。 在性能表现方面，该研究展示了其提出的算法不仅在精度上有显著提高，在速度上也有明显优势。具体而言，相比于先前最优的两阶段探测器——原始版本的PV-RCNN，新方法能够在保持较高准确率的同时加快近2.6倍的速度完成推断过程；而在单一阶段探测器领域，则超越了以往记录持有者SA-SSD约2.8个百分点，并缩短了大约四分之一的运算耗时[^3]。 此外，为了实现高效能的表现，研究人员设计了一个特殊的框架叫做Teacher & Student SSD架构。在这个体系里，教师模块负责指导学生部分的学习过程，两者共享相似但不完全相同的结构配置。特别值得注意的是，这里采用了稀疏卷积网络（SPConvNet）、鸟瞰视角（BEV）卷积网络以及多任务头部组件(MTHead)，共同作用于点云数据的有效编码与解码操作之中[^4]。 ```python import torch.nn as nn class TeacherStudentSSD(nn.Module): def __init__(self): super(TeacherStudentSSD, self).__init__() # Define SPConvNet layers here... # Define BEVConvNet layers here... # Multi-task head for regression and classification tasks. self.mt_head = MTHead() def forward(self, x): sp_features = self.sp_convnet(x) bev_features = self.bev_convnet(sp_features) output = self.mt_head(bev_features) return output ``` ### 实现细节和技术亮点 - **可变形卷积**：允许动态调整局部区域内的采样位置，增强了对非刚体变换下目标识别的能力。 - **高效的特征提取流程**：结合了三维空间中的稀疏表示和平面视图上的密集表达形式，既保留了丰富的几何信息又便于后续高层次语义分析。 - **一致性损失函数的应用**：促进了师生间知识传递的质量，有助于获得更为稳健可靠的预测结果。
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NNNNNathan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值