3D目标检测新思路:PV-RCNN如何巧妙融合Point-based和Voxel-based方法

【论文阅读】【三维目标检测】PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection 文章目录PV-RCNNRPNBackbone: 3D Sparse ConvolutionClassification & Regression HeadVoxel Set Abastraction Module(VSA)起因VSA ModulePKW Module(Predicted Keypoint Weighting)RCNN实验思考 本论文目前是KITTI排名第一,香港中文大学和商... 阅读详情

3D目标检测新范式:PV-RCNN如何重构点云与体素的特征融合体系

在自动驾驶和机器人感知领域,3D目标检测技术正经历着从单一模态到多模态融合的范式转变。传统基于点云(point-based)的方法虽然能保留精确的几何信息,但计算复杂度高;而基于体素(voxel-based)的方案虽然计算高效,却在细粒度定位精度上存在瓶颈。PV-RCNN的创新之处在于构建了一个双向特征交互框架,通过关键点采样和多尺度特征聚合机制,实现了两种范式的优势互补。

1. 三维感知的困境与融合路径选择

当前3D目标检测面临的核心矛盾在于精度与效率的权衡。点云数据作为三维空间的直接表征,每个点都携带精确的(x,y,z)坐标和反射强度信息。PointNet++等开创性工作证明了直接处理点云的可行性,但面临两个根本性限制:

  • 计算密度问题:典型64线激光雷达单帧产生约10万点,全连接处理带来巨大计算负担
  • 局部特征缺失:最远点采样(FPS)可能导致关键区域采样不足,影响小物体检测

另一方面,体素化方法将不规则点云转换为规整的3D网格,使得标准卷积操作成为可能。SECOND、VoxelNet等方案展示了这种思路的效率优势,但存在三个固有缺陷:

  1. 量化误差:体素尺寸选择直接影响信息保留程度,过大导致细节丢失,过小则内存激增
  2. 各向异性:Z轴分辨率通常显著低于XY平面,影响高度方向的特征提取
  3. 感受野固定:传统3D卷积核难以适应不同尺度的物体

PV-RCNN的突破性设计在于提出了**体素到关键点(Voxel-to-Keypoint)**的特征编码方案。该方案包含三个关键技术组件:

  • 多尺度体素特征金字塔:通过不同大小的体素网格并行提取层次化特征
  • 可变形关键点采样:动态调整采样密度,确保前景物体区域有足够表征
  • 特征双向流动:体素特征向关键点聚合,关键点特征再反馈到检测头
# 关键点采样伪代码示例
def voxel_to_keypoint(points, voxel_size=[0.1,0.1,0.1]):
    # 体素化处理
    voxel_grid = create_voxel_grid(points, voxel_size)
    
    # 多尺度特征提取
    feature_pyramid = []
    for scale in [1, 2, 4]:
        scaled_features = 3d_cnn(voxel_grid, down_sample=scale)
        feature_pyramid.append(scaled_features)
    
    # 关键点采样与特征聚合
    keypoints = farthest_point_sampling(points, n_samples=2048)
    keypoint_features = []
    for kp in keypoints:
        local_features = query_ball_point(kp, feature_pyramid, radius=0.3)
        aggregated = pointnet_layer(local_features)
        keypoint_features.append(aggregated)
    
    return keypoint_features

2. 体素到关键点的场景编码机制

PV-RCNN的第一阶段创新在于设计了**体素集合抽象(Voxel Set Abstraction, VSA)**模块,该模块实现了从规则体素到不规则关键点的特征传递。具体实现包含四个关键步骤:

2.1 自适应关键点采样策略

不同于传统FPS算法,PV-RCNN引入前景感知的采样机制:

  1. 密度均衡采样:在点云密度差异大的区域动态调整采样间隔
  2. 语义引导加权:使用轻量级网络预测各点的前景概率,作为采样权重
  3. 多分辨率覆盖:在不同下采样率的特征图上重复采样,确保多尺度覆盖
采样策略行人AP(%)车辆AP(%)计算耗时(ms)
原始FPS72.385.115.2
密度均衡FPS74.1(+1.8)86.3(+1.2)16.8
语义加权FPS75.6(+3.3)87.2(+2.1)18.5

2.2 体素特征的多尺度查询

对于每个关键点,VSA模块在其邻域内执行三维特征查询:

  1. 半径查询:在原始点云、1x、2x、4x下采样特征图上分别建立查询区域
  2. 特征对齐:通过可变形卷积调整各尺度特征的空间对齐
  3. 跨模态融合:将点特征、体素特征和BEV视图特征进行通道拼接

注意:实际实现中需要特别处理空体素问题,采用均值填充或注意力机制来避免特征退化

2.3 关键点权重预测网络

为增强关键点的判别能力,PV-RCNN设计了辅助的权重预测头:

  • 前景分割损失:使用focal loss解决前景-背景样本不平衡
  • 特征蒸馏:将RPN输出的ROI特征作为教师信号
  • 动态门控:根据置信度调整关键点对后续特征的贡献度
# 关键点权重预测实现示例
class KeypointWeightNet(nn.Module):
    def __init__(self, in_channels):
        self.conv1 = nn.Conv1d(in_channels, 64, 1)
        self.conv2 = nn.Conv1d(64, 1, 1)
    
    def forward(self, x):
        scores = torch.sigmoid(self.conv2(self.conv1(x)))
        return scores.squeeze(1)

3. 关键点到网格的ROI特征精修

第二阶段的核心创新是**ROI网格池化(ROI-grid Pooling)**模块,该设计解决了传统方法在稀疏3D特征上插值失效的问题。具体流程分为三个环节:

3.1 多尺度网格点部署

在每个提案框(proposal)内均匀采样网格点,并建立多层次查询结构:

  1. 基础网格:6×6×6的规则采样,覆盖整个提案空间
  2. 局部加密:在物体表面区域增加采样密度(基于第一阶段预测)
  3. 球形查询:为每个网格点建立多个半径的查询区域

3.2 特征聚合与传播

采用类似PointNet++的集合抽象操作,但做了三点改进:

  • 跨层跳跃连接:将浅层高分辨率特征与深层语义特征结合
  • 注意力聚合:根据点距离和特征相似度计算聚合权重
  • 残差链接:保留原始提案特征作为基准

3.3 置信度校准机制

引入IoU-aware的置信度预测分支,解决分类得分与定位精度的不一致:

  • IoU映射:将预测框与GT的3D IoU转化为[0,1]连续值
  • 联合优化:分类损失与IoU回归损失交替训练
  • 测试时校准:使用学习到的温度系数调整输出分布

实验表明,该机制可使mAP提升2.1%,特别改善高IoU阈值下的表现

4. 工程实现与优化技巧

在实际部署PV-RCNN时,以下几个工程细节对性能有显著影响:

4.1 内存高效实现

  • 稀疏卷积优化:使用子流形稀疏卷积减少无效计算
  • 特征压缩:对背景区域的体素采用低精度存储
  • 异步执行:将体素化与网络计算流水线化

4.2 训练策略精调

  • 数据增强组合:
    • 全局旋转缩放
    • 物体级复制粘贴
    • 点云密度扰动
  • 损失函数设计:
    total_loss = rpn_loss + 0.5*keypoint_loss + roi_loss + 0.1*iou_loss
    
  • 学习率调度:
    • 前5个epoch线性warmup
    • 余弦退火衰减

4.3 跨平台适配技巧

针对不同硬件平台的优化方向:

平台类型优化重点典型加速比
GPU批处理体素化1.8x
FPGA定点量化+流水线3.2x
端侧NPU算子融合+内存复用5.4x

在Waymo开放数据集上的实测表明,经过优化的PV-RCNN可在30ms内完成单帧处理,满足实时性要求。这种点-体素混合架构为三维感知系统提供了新的设计范式,其核心思想——在规整与不规则表示间建立双向特征流——也启发了后续诸多工作。随着自动驾驶对长尾场景的检测需求不断提高,如何进一步优化特征融合的效率与鲁棒性,仍是值得探索的方向。

【论文阅读】【点云处理】Point-Voxel CNN for Efficient 3D Deep Learning 文章目录 2019NIPS MIT与上海交通大学,Song Han老师 阅读详情

相关推荐

PV-RCNN:Point-based与Voexl-based共同成就的高性能3D目标检测网络

现阶段的3D目标检测方法主要可以分为两大类,一个是采用pointnet及其变种直接对点云进行处理,即point-based。一种是将点云数据转化成规则的体素,通过三维卷积进行特征提取,即voxel-based。两种方法没有绝对意义上的孰优孰劣,各有各自不同的特点。得益于稀疏卷积,voxel-based方法的显存占用与计算量大大减少,但是体素化带来的信息损失仍然不可避免。而point-based方法虽然利用了完整的,也是最原始的点云信息,但是这类方法都会通过SA操作来提取局部空间信息,SA操作中的近邻搜索过于

weixin_41271939的博客 3641

【3D目标检测】PV-RCNN:Point-Voxel Feature Set Abstraction for 3D Object Detection

文章目录前言摘要1.介绍2.PV-RCNN for Point Cloud Object Detection2.1 3D voxel CNN高效特征编码和proposal生成3.2 Voxel-to-keypoint Scene Encoding via Voxel Set Abstraction3.结果5. 总结 前言 1. 实验方法是什么样的? 2. 得到了什么结果? 文章的特征提取方式充分结合了voxel-based和point-based两种方法的优点,3D voxel卷积可以高效地编码多尺度特

毛毛的博客 1023

一文读懂PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection

为了致敬*一文读懂Faster RCNN*,本文取名如此。希望能帮助大家以轻松的姿态理解这一霸榜kitti大半年的3D目标检测算法。 0. 立论依据 按照点云的前处理方法划分,通常3D目标检测可以分为基于体素和基于点的方法。文中提到二者有其各自的特点:基于体素的方法能有效地进行region proposal,但是感受野受到卷积核大小的限制。而基于点的方法恰好能够获得灵活的感受野,更捕获更精确的上下文信息。(??此处迷惑,即使是基于体素的方法的感受野难道不是随着卷积层数的增加而逐渐扩大的吗??讲真,大家都说二

hughlee815的博客 4000

【三维感知目标检测论文阅读】《PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection》

PV-RCNN提出了一种创新的3D物体检测框架,将体素CNN的高效性与PointNet的灵活性相结合。该方法通过两个核心模块:Voxel-to-Keypoint场景编码将多尺度体素特征聚合到关键点,以及Keypoint-to-Grid RoI特征抽象为每个提案提取丰富上下文特征。在KITTI和Waymo数据集上的实验表明,该方法显著优于现有技术,特别是在中远距离检测上。PV-RCNN为两阶段3D检测器提供了一个高效且精确的新范式,成为该领域的重要里程碑。

weixin_42479402的博客 1145

PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection阅读

PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection Abstract 我们提出的方法深度集成了 3D 体素卷积神经网络 (CNN) 和基于 PointNet 的集合抽象,以学习更多有区别的点云特征。它利用了3D体素CNN的高效学习和高质量建议以及基于PointNet的网络的灵活感受野。首先,通过一个Set abstraction层将3D场景下的点云通过3D VoxelCNN转换成一组关键点,以节省后续计算和编码表示场景特征

努力奋斗 2658

【3D 目标检测】PV-RCNN:融合Point与Voxel优势的双阶段检测框架解析

PV-RCNN是3D目标检测领域的经典双阶段框架,创新性地融合了体素(voxel-based)与点云(point-based)方法的优势。第一阶段利用体素卷积高效生成3D候选框,第二阶段通过关键点采样与Voxel Set Abstraction模块聚合多尺度特征,并采用Keypoint-to-Grid RoI特征抽象进行边框精调,在KITTI数据集上实现了精度与速度的卓越平衡。

weixin_29066781的博客 439

PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection

1. Motivation

鱼遇的博客 2333

Voxel-RCNN论文和逐代码解析

1、前言 当前的点云3D检测主要分为两大类,第一类为grid-based的方法,第二类为point-based的方法。 grid-based的方法将不规则的点云数据转换成规则的3D voxels (VoxelNet, SECOND , Fast PointRCNN, Part A^2 Net)或者转化成 2D的BEV特征图(PIXOR, HDNet,PointPillars),这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。 point-b...

NNNNNathan的博客 7660

【论文阅读】【3D目标检测】PV-RCNN++

文章目录PV-RCNN++SPCVectorPool aggregation 论文:PV-RCNN++: Point-Voxel Feature Set Abstraction With Local Vector Representation for 3D Object Detection PVRCNN的作者又放出了PVRCNN++,主要在效率上做了改进。 PV-RCNN++ 本文首先介绍了PVRCNN,然后基于PVRCNN的框架介绍了PVRCNN++的改进。PVRCNN就不介绍了,可以详见另一篇博客。 P

麒麒哈尔的博客 3690

飞塔防火墙和paloalto防火墙构建ipsec

一、配置fortigate防火墙1.防火墙配置上网功能1.1配置fortigate的wan1接口IP为100.100.100.2/24VLAN交换internal,IP地址为192.168.156.99/24。开启DHCP分配IP地址范围为192.168.156.110-192.168.156.2101.2配置访问互联网的缺省路由1.3配置访问互联网的安全策略2.配置与Paloalto防火墙的IPSECVPN。

weixin_44675999的博客 3743

Ubuntu 22.04 搭建 PX4 飞控系统完全指南:从仿真到硬件试飞

定义消息文件protobufuint64 timestamp # 时间戳float32 temperature # 温度float32 humidity # 湿度生成代码:bashPX4 在 Ubuntu 22.04 的搭建涉及环境配置、编译仿真、硬件连接等多环节,核心是理解 PX4 1.14 的新特性(uXRCE-DDS、动态控制分配)。通过本文指南,开发者可快速构建稳定的 PX4 开发环境,为无人机应用开发奠定基础。

zqmgx13291的博客 3048

【第五章:计算机视觉-计算机视觉在自动驾驶领域的应用】1.雷达点云3D目标检测-(2)经典的基于基于Point/Point-Voxel的雷达点云3D目标检测算法详解

本文介绍了自动驾驶领域中雷达点云3D目标检测的两类主流算法:基于点(Point-based)和基于点-体素(Point-Voxel-based)的方法。重点解析了PointNet、PointNet++等点基算法以及PV-RCNN等混合算法的关键技术原理与优缺点。文章对比了两种方法在精度、效率等方面的差异,并指出未来发展方向将聚焦轻量化、多模态融合和Transformer应用。这些算法为自动驾驶感知系统提供了重要的技术支撑,正朝着更高效、更精确的方向发展。

IT古董 1906

破解雪球网acw_sc__v2加密与无限debugger反爬策略

本文详细解析了雪球网的反爬机制,重点破解了其核心的acw_sc__v2加密参数与无限debugger反调试策略。通过实战案例,从抓包分析、逆向调试到算法还原,提供了完整的Python代码实现,帮助开发者掌握应对类似加密反爬的通用方法。

weixin_29207533的博客 1909

《论文阅读》PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection

留个笔记自用 PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection 做什么 3D object detection。3维目标检测 对于输入的3D点云,像2D一样使用一个bounding box去将相应的物体包围起来,不过这里使用的bounding box也同样变成了3维的 做了什么 本文将=Voxel-based的方法和Point-based的方法优缺点结合了起来,包括体素到关键点的3D场景编码和关键点到网格的RoI特征

未知丶的博客 748

Case-Based Reasoning用于RAG

在做大模型应用RAG的时候,会发现一种特殊的场景,就是基于之前的case进行回答,比如法律咨询、医疗诊断等等。这种情况的问答,需要有强有力的case支持才行,有了case支持,大模型回答会更加准确。CBR这个概念已经很久了,它是一种人工智能推理方法,它的基本思想是:遇到新问题时,先回忆相似的过去案例,再基于这些案例进行调整,得到新问题的解答。Retrieve(检索):在案例库中找到与当前问题最相似的案例。Reuse(复用):借鉴案例的解决方案来应对当前问题。

sinat_28694519的博客 940

别再对着手册发愁了!手把手教你读懂MIPI-DSI初始化命令(以Rockchip平台为例)

本文深入解析MIPI-DSI初始化命令在Rockchip平台的应用,帮助嵌入式工程师快速掌握LCD屏幕调试技巧。从协议基础到实战指南,详细拆解命令格式、DCS与Generic命令的区别,并提供Rockchip平台的调试全流程与高级技巧,解决常见显示问题。

weixin_42519781的博客 266

人工智能之PV-RCNN++ | 利用Transformer和Voxel Query让Point与Voxel更好结合成就3D检测

随着自动驾驶、机器人系统和虚拟现实的发展,2D 和 3D 领域的目标检测变得越来越重要。通过各种数据表示(例如,单目图像、立体相机和 LiDAR 点云)在 3D 目标检测方面取得了很大进展。与从 2D 图像中检测 3D 目标相比,LiDAR 点云在检测 3D 目标中发挥着关键作用,因为它包含相对精确的深度和 3D 空间结构信息。和。将点离散为规则网格以方便 3D 稀疏卷积神经网络 (CNN)。然后,可以将体素化的特征图压缩为鸟瞰图(BEV),然后将其送到区域建议网络(RPN)以产生预测。相反,

人工智能讲师分享前沿技术 1392

【一 扣子客户案例合集】【 1.3 识典古籍基于扣子智能助手的古籍数字化全流程技术解析】

古籍数字化智能处理系统全流程解析 本文详细介绍了基于扣子智能助手的古籍数字化解决方案,核心技术包括: 多层级架构设计:采用"云-边-端"三层次架构,整合高精度扫描设备与AI处理模块,实现从物理古籍到结构化数据的全流程自动化。 智能图像处理:通过12道预处理工序(包括畸变校正、污渍去除和对比度增强)处理古籍图像,采用改进的EAST算法和ViT模型实现高精度文字检测与识别,准确率达98.7%。 NLP增强处理:结合Transformer-XL预训练模型和N-gram语言模型进行文本校正,基于

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 1445

PV-RCNN:融合Point与Voxel优势的3D目标检测算法解析与实战

本文深入解析了PV-RCNN这一融合点与体素优势的3D目标检测算法。通过创新的两阶段架构,它结合了体素CNN的高效特征提取与提案生成能力,以及基于关键点的精细位置感知,有效解决了传统方法在效率与精度上的两难选择。文章详细阐述了其核心模块Voxel Set Abstraction与RoI-grid Pooling的工作原理,并提供了在KITTI数据集上的实战部署指南与性能分析。

weixin_29051149的博客 403

【第48例】BLM模型之市场洞察-五看工具篇(一)

BLM市场洞察

产品线负责人 2116

Vue3 - Element Plus 树形表格组件 el-table 一键全部展开折叠功能,支持动态数据及懒加载点击父级才去请求的场景,Tree树状表格每行带有children的表格全部收起和折叠!

vue3,element-plus,表格Table组件,el-table,怎样一键展开/收起,一键展开或折叠树形表格,如何通过按钮来实现全部展开,不生效,一键折叠或展开表格,表格children嵌套,带有子集,多级表格,懒加载,动态数据,table表格的children通过后端请求过来的怎么一键展开请求数据呢,表格如何一键展开和折叠,怎么使用,教程,树形数据table全部展开和折叠,一键展开或折叠树形表格,点击展开接口获取数据,toggleRowExpansion,树形表格懒加载与全部折叠,深层多级,复杂,

🏆 前端领域优质创作者 6806

【3D 目标检测】PV-RCNN:融合Point与Voxel优势的检测框架解析与实践

本文深入解析了3D目标检测经典框架PV-RCNN,它创新性地融合了体素(voxel-based)的高效特征编码与点云(point-based)的精确几何感知。通过两阶段设计,结合Voxel Set Abstraction(VSA)和RoI-Grid Pooling等核心模块,在KITTI等数据集上实现了精度与效率的平衡,为自动驾驶等领域的3D感知提供了强大解决方案。

weixin_29091105的博客 321

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

【论文阅读】PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection

【论文阅读】PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection 模型名称:PV-RCNN Point-Voxel Feature Set Abstraction for 3D Object Detection 主要贡献和特点 PC-RCNN模型在特征提取中结合了基于voxel的方法和基于point的方法,取得较好的目标检测结果; 3D voxel方法仅提取局部特征,但卷积高效 point-based方法计算量大,但感受

Elodie Shan 774

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

3D点云目标检测 two-stage方法trefine方法综述

前言 和二维图像目标检测一样,3D点云目标检测除了按照输入模态划分为基于点云、基于单目、基于双目或者是多模态融合的方法。也可以按照对proposal的提出和优化分为one-stage、two-stage甚至three-stage的方法。 ...

有所为,有所成长 2151

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【论文速览】PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection

摘要 提出了一种新的高性能的三维目标检测框架:PointVoxel-RCNN(PV-RCNN),用于从点云中精确检测三维目标。该方法将3D体素卷积神经网络(CNN)和基于PointNet的集合抽象有机地结合起来,以学习更具鉴别能力的点云特征。它利用了3D体素CNN的高效学习和高质量提案以及基于PointNet的感受野可变的优势。具体地说,该框架通过一个新的体素集抽象模块将具有3D体素CNN的3D场景总结成一个小的关键点集,以节省后续计算,并对具有代表性的场景特征进行编码。考虑到体素CNN生成的高质量3D提案

冯子材的博客 1477

PV-RCNN++ | 利用Transformer让Point与Voxel更好结合

点击下方卡片,关注“自动驾驶之心”公众号ADAS巨卷干货,即可获取点击进入→自动驾驶之心技术交流群后台回复【领域综述】获取自动驾驶全栈近80篇综述论文!outdoor LiDAR点云中的前景点(即物体)和背景点之间经常存在很大的不平衡。它阻碍了检测器专注于信息区域以产生准确的 3D 目标检测结果。本文通过语义Point-Voxel特征交互提出了一种新颖的目标检测网络,称为PV-RCNN++。与...

CV_Autobot的博客 1678
上一篇: 物联网五层架构避坑指南:感知层传感器选型与数据层处理常见问题解析
下一篇: 从内存越界到中断嵌套:STM32 HardFault的7种典型诱因与预防方案
糖果HTML
博客等级 码龄3年 76粉丝 1357原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值