PV-RCNN之Roi-grid pooling详解

最新推荐文章于 2025-03-12 18:55:08 发布
最新推荐文章于 2025-03-12 18:55:08 发布
阅读量4.9k 收藏 20
点赞数 7
文章标签： 深度学习 pytorch python 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46470894/article/details/123284602
版权
本文详细介绍PVRCNN中的关键模块RoI-gridPooling，探讨其在3D目标检测中的作用，包括网格划分、特征提取和权重计算过程。通过实例演示，理解如何从提案中提取特征并优化box预测。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、前言

PVRCNN是2019年12月发布的一篇3d目标检测的文章，代码已经在2021年4月开源。
传统的目标检测网络一般是基于 3d voxel 或者基于 pointnet 的方式，而PVRCNN，它结合了基于 point 和基于 voxel 这两种方式，从而提高了三维检测性能。PV-RCNN的原理在于，基于 voexl 的操作可以有效地对多尺度特征表示进行编码，并可以生成高质量的3D proposals，而基于PointNet的 SA 操作可以通过灵活的感受野保留准确的位置信息。

论文里对网络结构和性能介绍的很详细，想要全篇了解的可以去读一下 这篇论文翻译：PV-RCNN论文翻译

这里主要对 PV-RCNN中的 RoI-grid Pooling 模块进行详细的说明。（如果对该网络其它的模块也不是很清楚的可以留言，后需会同步更新出来）

二、RoI-grid pooling module流程图及说明

在这里插入图片描述

图中：
蓝色块表示一个 tensor 张量；
箭头上面的方框表示某种方法；
绿色块表示 一个子网络；
橙色块表示 简单的module，如fc层。

首先

最低0.47元/天 解锁文章
jiangtao129
关注
PV-RCNN论文和逐代码解析（一）
NNNNNathan的博客
03-11 9253
1、前言 当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。 grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND , Fast PointRCNN， Part A^2 Net）或者转化成 2D的BEV特征图（PIXOR, HDNet，PointPillars），这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。 ...
PV-RCNN++网络结构和代码解析
NNNNNathan的博客
04-22 6757
1、前言 这篇文章废话不多说了，主要史帅基于PV-RCNN上面进行的改进，本文不会从头构建网络并进行解析，对于PV-RCNN不了解的小伙伴可以先去看我之前的文章。 PV-RCNN论文和逐代码解析（一）_NNNNNathan的博客-优快云博客_pvrcnn代码复现1、前言当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND ....
Grid-R-CNN
03-15
网格R-CNN 在CVPR 2019上发布的更新Grid R-CNN的基于mmdetection的实现。原始文件在，更新的详细信息可以在此看到。 安装 该项目基于mmdetection对象检测框架。 要求 Python 3.5+（ ） PyTorch 1.0+或PyTorch-每晚 CUDA 9.0+ GCC 4.9+ 使用mmdetection安装Grid R-CNN 一种。 创建一个conda虚拟环境并激活它。 然后安装Cython。 conda create -n open-mmlab python=3.7 -y source activate open-mmlab conda install cython b。 按照稳定或每晚安装PyTorch和Torchvision。 C。 克隆此存储库。 d。 编译cuda扩展。 ./compile.sh e。 设置mmde
ROI Pooling
Winne
04-22 353
传统的object detection一般分两步： （1）根据某些规则或者先验知识，先在输入图片上面搜索一堆可能存在物体的框框，叫做region of interest。 （2）然后把这些框扔进CNN进行分类。 这样做有几个明显的缺点： （1）训练是multi-stage，不是end-to-end的。 （2）为了提高精度，往往会生成很多很多候选框，这样会大大增加检测时间。 于是，出现了Fast R...
点云深度学习系列：PVRCNN——point-voxel融合的分割模型
最新发布
qq625924821的博客
03-12 1052
作者提出了一种新颖的高性能 3D 对象检测框架，名为 PointVoxel-RCNN （PV-RCNN），用于从点云中准确检测 3D 对象。提出的方法深度集成了 3D 体素卷积神经网络 （CNN） 和基于 PointNet 的集合抽象，以学习更多的判别性点云特征。它利用了 3D 体素 CNN 的高效学习和高质量建议以及基于 PointNet 的网络的灵活感受野。具体来说，所提出的框架通过新颖的体素集抽象模块将带有 3D 体素 CNN 的 3D 场景总结为一小组关键点，以节省后续计算并编码代表性场景特征。
Grid rcnn
liguandong
03-17 695
Grid rcnn Abstract: the grid rcnn captures the spatial information explicitly and enjoys the position sensitive property of fully convolutional architecture. Instead of using only two independent po...
Grid R-CNN
weixin_43489950的博客
03-19 562
Grid R-CNN Grid R-CNN这篇论文是刚刚由商汤提出的，其主要是对faster R-CNN框架中定位框回归支路的更改，将以往通过回归方式实现proposal位置修正的方法，更改为...
Grid RCNN 阅读笔记
Vivianyzw的博客
12-26 933
1. 摘要 Abstract 与传统回归不同，Grid RCNN利用全卷积结构来抓取了空间信息。设计一种多点，而非只用两个独立的点，的监督形式来编码更多的线索，为了减少具体的点的不准确推测的影响。为了充分发挥网格点的相关性的优势， 我们采用了两阶段融合侧率来融合邻网格点的特征图。网格限制的定位方法很容易拓展到不同的检测框架中。Grid RCNN是高质量的物体检测策略。和Res50的Faster ...
PV-RCNN++网络结构
Oliver_jiang的博客
03-13 2352
PV-RCNN++（PV-RCNN-V2）
【论文解读】PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection
lwk___123的博客
01-22 2141
我们提出了一种新的高性能3D对象检测框架，称为PointVoxel RCNN（PV-RCNN），用于从点云中精确检测3D对象。我们提出的方法深度集成了三维体素卷积神经网络（CNN）和基于PointNet的集合抽象，以学习更具判别力的点云特征。它利用了3D体素CNN的高效学习和高质量建议以及基于PointNet的网络的灵活感受野。具体而言，所提出的框架通过新颖的体素集抽象模块将具有3D体素CNN的3D场景总结为一小组关键点，以节省后续计算并对代表性场景特征进行编码。
Grid RCNN学习笔记
_liuzt的博客
12-04 525
Grid R-CNN CVPR2018 商汤 Abstract 本文提出了一种基于网格引导定位的目标检测算法Grid R-CNN Grid R-CNN获取空间信息并且利用全卷积结构的位置敏感性 Different from the traditional regression based methods, the Grid R-CNN captures the spatial information explicitly and enjoys the position sensitive propert
Grid R-CNN理解
？？？的博客
12-15 8630
Grid R-CNN Grid R-CNN这篇论文是刚刚由商汤提出的，其主要是对faster R-CNN框架中定位框回归支路的更改，将以往通过回归方式实现proposal位置修正的方法，更改为通过全卷积网络来实现目标定位框的精确修正。借助卷积层生成的heatmap来确定初始的网格点，并通过这些网格点确定定位框的四条边。之所以做出这样的改变，作者阐述全卷积网络对位置更加具有敏感性，能够更好的实现更...
推荐文章：Grid R-CNN —— 强大的实例分割框架
gitblog_00063的博客
05-25 358
推荐文章：Grid R-CNN —— 强大的实例分割框架 Grid-R-CNN项目地址:https://gitcode.com/gh_mirrors/gr/Grid-R-CNN 1、项目介绍 Grid R-CNN 是一个基于 mmdetection 框架的深度学习项目，它在 2019 年的 CVPR 大会上首次发表，并后续进行了更新。该项目旨在解决复杂的实例分割任务，特别是在处理多尺度和不规则形...
利用pytorch的affine_grid和grid_sample实现rroi_align
怡宝2号
06-22 4109
原始图片： import random import math import torch import numpy as np import torch.nn.functional as F import cv2 import matplotlib.pyplot as plt from data_gen import draw_box_points path = './test/timg.jp...
Grid R-CNN 算法笔记
AI之路
07-09 2735
论文：Grid R-CNN 论文链接：https://arxiv.org/abs/1811.12030 代码链接：https://github.com/STVIR/Grid-R-CNN 代码链接2：https://github.com/open-mmlab/mmdetection 这篇目标检测论文发表在CVPR2019，整体上是将two-stage类型的目标检测算法中的位置回归支路用基于关键点检测...
论文阅读：Grid R-CNN
Kivee的博客
01-30 958
Grid R-CNN 文章   CornerNet是one-stage的基于关键点的detector，那么可以不可以在two-stage上用上类似的方法呢？Grid R-CNN就是这样的方法。和普通的two-stage的第二步对RoI进行回归不一样，该方法直接利用RoI feature对物体的Grid（多个关键点）进行proposal的位置修正。   和CornerNet一样，本文也发现了很...
Grid R-CNN 翻译
qq_20481015的博客
12-19 1011
Grid RCNN时候商汤的最新力作 摘要 本文提出了一种新的目标检测框架Grid R-CNN，该框架采用网格引导的定位机制进行精确的目标检测。与传统的基于回归的方法不同，网格R-CNN对空间信息进行了显式捕获，具有全卷积架构的位置敏感特性。为了减少特定点预测不准确的影响，我们设计了一个多点监督公式来编码更多的线索，而不是仅仅使用两个独立的点。为了充分利用网格中各点之间的相关性，提出了一种两阶...
paper reading：《Grid R-CNN》
yuansiming0920的博客
08-21 412
CVPR 2018 论文链接： https://arxiv.org/pdf/1811.12030.pdf Grid R-CNN是商汤科技最早发表于arxiv的一篇目标检测的论文，对于Faster R-CNN架构的目标坐标回归部分进行了替换，取得了更加精确的定位精度。 该文所有作者均来自于商汤科技，Grid用来修饰R-CNN，意即将目标检测中位置定位转化为目标区域网格点的定位。 文章目录1 Background and Motivation2 Related Work3 Advantages/Contrib.
目标检测Fast RCNN中的ROI pooling
qq_32172681的博客
08-11 645
目标检测的任务可以分为两步：选出所有可能存在物体的候选框、判断候选框中的物体是否为前景或者背景。 但是这可能会产生很多的候选区域，如果把它们都喂入CNN，计算量将特别大，这也是rcnn效率低的原因所在。rcnn对每个候选区域都进行CNN计算，而一张图片的候选区域多达2000个。由此产生了ROI pooling。 ROI，region of interets。 ROI pooling，它...
pv-rcnn csdn
02-03
PV-RCNN是一种基于点云的三维物体检测与识别算法。它通过先将点云数据转换为Bird's Eye View（BEV）图像，然后使用2D卷积神经网络（CNN）来提取特征。接下来，PV-RCNN使用RoI pooling来将BEV特征映射到3D空间，并将其与CNN的2D特征进行融合。最后，通过3D卷积神经网络（CNN）对融合后的特征进行识别和检测。 PV-RCNN相比于传统的基于点云的方法有一些优点。首先，它能够提取丰富的3D特征，并且能够在3D空间中进行物体识别和检测。其次，PV-RCNN能够有效地处理点云中的遮挡问题。因为它使用BEV图像作为中间表示形式，可以较好地处理遮挡情况。最后，PV-RCNN具有较高的性能，并且在一些常见数据集上取得了较好的检测结果。 PV-RCNN的实现过程需要一些注意事项。首先，需要将点云数据转换为BEV图像，这需要适当的预处理步骤。其次，在进行2D和3D特征融合时，需要仔细调整权重和参数，以获得最佳的性能。此外，了解从点云到BEV图像的转换过程以及使用的CNN和3D CNN架构也是非常重要的。 总的来说，PV-RCNN是一种有效的点云物体检测和识别算法，它在点云数据处理和特征提取方面有一定的优势，并且已经在实践中取得了令人满意的结果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值