SECOND点云检测代码详解

已于 2023-12-12 07:32:27 修改
阅读量1.2w 收藏 140
点赞数 33
分类专栏： 3D感知论文分析与代码实战 文章标签： 深度学习 机器学习 自动驾驶 计算机视觉 目标检测
于 2022-03-07 16:19:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41366026/article/details/123323578
版权
SECOND是基于Voxel的点云目标检测方法，通过稀疏卷积提高效率。网络包括VFE、VoxelBackBone8x、HeightCompression、BaseBEVBackbone和AnchorHeadSingle等模块。VFE使用点云的平均值作为特征， AnchorHeadSingle包含方向分类。文章详细解析了SECOND的各个部分，包括数据预处理、网络结构和损失函数计算，还介绍了数据增强技术GT_AUG。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、前言

        SECOND也是一片基于Voxel按anchor-based的点云检测方法，网络的整体结构和实现大部分与原先VoxelNet相近，同时在VoxelNet的基础上改进了中间层的3D卷积，采用稀疏卷积来完成，提高了训练的效率和网络推理的速度，同时解决了VoxelNet中角度预测中，因为物体完全反向和产生很大loss的情况；同时，SECOND还提出了GT_Aug的点云数据增强。没有了解过VoxelNet的小伙伴可以查看我的这篇文章：

VoxelNet点云检测详解_NNNNNathan的博客-优快云博客_voxelnet 点云 目标检测1、前言 精确的点云检测在很多三维场景的应用中都是十分重要的一环，比如家用机机器人、无人驾驶汽车等场景。然而高效且准确的点云检测在pointnet网络提出之前，一直没能取得很好的进展，因为传统的手工点云特征提取没有很好的泛化性能。所以VoxelNet是一个端到端的点云检测模型。直接使用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
PV-RCNN++网络结构和代码解析
NNNNNathan的博客
04-22 6760
1、前言 这篇文章废话不多说了，主要史帅基于PV-RCNN上面进行的改进，本文不会从头构建网络并进行解析，对于PV-RCNN不了解的小伙伴可以先去看我之前的文章。 PV-RCNN论文和逐代码解析（一）_NNNNNathan的博客-优快云博客_pvrcnn代码复现1、前言当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND ....
VoxelNet点云检测详解
热门推荐
NNNNNathan的博客
02-28 1万+
1、前言 精确的点云检测在很多三维场景的应用中都是十分重要的一环，比如家用机机器人、无人驾驶汽车等场景。然而高效且准确的点云检测在pointnet网络提出之前，一直没能取得很好的进展，因为传统的手工点云特征提取没有很好的泛化性能。所以VoxelNet是一个端到端的点云检测模型。直接使用深度学习完成对点云的特征提取；同时，这也使得网络更加高效。这个模型在当时的KITTI点云检测中也取得了SOTA的成绩。 VoxelNet: End-to-End Learning for Point Clo...
[3D检测系列-PV-RCNN] PV-RCNN论文详解、PV-RCNN代码复现、包含官网PV-RCNN预训练权重及报错问题
Callme_TeacherPi
07-31 4965
[3D检测系列-PV-RCNN] PV-RCNN论文详解、PV-RCNN代码复现、包含官网PV-RCNN预训练权重及报错问题 一、论文详解2、体素到关键点场景编码2.1、关键点抽样2.2、体素抽象3、VSA模块(体素集抽象模块)3.1、预测关键点权重4、提案细化的关键点到网格RoI特征抽象4.1、通过集合抽象进行RoI网格池化4.2、3D提案细化和置信度预测5、训练损失二、代码复现1、Copy代码2、安装一些功能包3、数据集的准备。......
【决策级融合】教程#3——点云检测结果映射到图像并保留2D检测框的教程(kitti_object_vis)
最新发布
qq_61907825的博客
04-04 1072
hyshhh：KITTI数据集介绍、组成结构、可视化方法。
点云 3D 目标检测 - SECOND（Sensors 2018）
77wpa的博客
12-29 2799
基于LiDAR或RGB-D的目标检测被用于从自动驾驶到机器人视觉的许多应用中。基于体素的3D卷积网络已被用于在处理点云LiDAR数据时增强信息的保留。然而，问题仍然存在，包括推理速度慢和方向估计性能低。因此，我们研究了一种用于此类网络的改进的稀疏卷积方法，该方法显著提高了训练和推理的速度。我们还引入了一种新的角度损失回归形式来提高方向估计性能，并引入了一个新的数据增强方法来提高收敛速度和性能。所提出的网络在KITTI 3D目标检测基准上产生最先进的结果，同时保持快速推断速度。
点云3D检测篇三：SECOND
weixin_50206562的博客
07-23 1863
点云数据与传统的图像数据不同，具有较强的稀疏性，无法使用标准的卷积神经网络进行特征提取，如图2所示。同理，考虑到2D任务中如果只处理一部分像素，标准卷积的效果也不好，需要使用2D的稀松卷积，因此本小节就从2D稀疏卷积出发，介绍一下稀疏卷积的原理，大家可以自行将其拓展到3D稀疏卷积中去，其实就多了一个深度信息D。图 2 点云数据（左）和 稀疏图像（右）由上，本小节考虑一个简单的2D稀疏卷积问题来进行讲解。输入数据：​ 定义一个 3 通道的 5 × 5 图像。
【论文解读】PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection
lwk___123的博客
01-22 2144
我们提出了一种新的高性能3D对象检测框架，称为PointVoxel RCNN（PV-RCNN），用于从点云中精确检测3D对象。我们提出的方法深度集成了三维体素卷积神经网络（CNN）和基于PointNet的集合抽象，以学习更具判别力的点云特征。它利用了3D体素CNN的高效学习和高质量建议以及基于PointNet的网络的灵活感受野。具体而言，所提出的框架通过新颖的体素集抽象模块将具有3D体素CNN的3D场景总结为一小组关键点，以节省后续计算并对代表性场景特征进行编码。
PV-RCNN++论文详解
JDJD_j的博客
12-14 363
相比于PV-RCNN，这篇有两个创新点，一是keypoint的采样，在PV-RCNN里是在原始点云FPS，这篇是采样原始点云再做FPS；二是局部特征提取的采样方式，前篇是用VSA模块。
PointPillars点云检测在OpenPCDet推理代码详解
NNNNNathan的博客
02-24 8083
在之前的文章中已经详细解析了PointPillars的论文和训练代码的实现和详解，可以参考之前的博客：PointPillars论文解析和OpenPCDet代码解析_NNNNNathan的博客-优快云博客。 本篇博客将会详细解析PointPillars模型在OpenPCDet中推理代码，并测试推理的效果。 读者可以下载OpenPCDet后根据文章进行阅读和理解。 由于本人才疏学浅，解析中难免会出现不足之处，欢迎指正、讨论，有好的建议或意见都可以在评论区留言。谢谢大家！ PointPi...
PointPillars代码详解及实现
m0_47313541的博客
01-26 479
SourceURL:file://文字文稿1和2D图像的深度学习目标检测很不相同，点云数据具有两个显著特征，为了将图像领域卷积神经网络做模式识别的经验引入三维点云中，一些深度学习方法采用了三维卷积方法或者是将点云投射为2维深度图，还有一类方法是使用鸟瞰视角Bird’s Eye View，来组织点云数据的输入，相比于2维深度图，鸟瞰图不存在遮挡问题但是数据分布更加稀疏造成网络特征学习效率低下。
BevFusion (5):逐行代码详解
@bangbang的博客
03-23 2736
论文中给出了Bevfusion的架构图，它的输入是多视角的相机和点云图，经过两个特定的head,分别用于做检测任务和分割任务。图1 Bevfusion 结构图Bevfusion因为有两个模态的输入：多视角相机和点云，所以对应两个分支：相机分支和点云分支。相机分支：输入6个视角的图片后，提取特征，然后经VT(View Transformer)转换之后得到相机的Bev特征。激光雷达分支：输入点云数据，经过Encoder编码得到体素化Lidar特征，然后沿z方向展平，得到Lidar Bev特征。
PV-RCNN:聚氯乙烯
04-23
PV-RCNN：用于3D对象检测的Point-Voxel特征集抽象 此PointVoxel-RCNN用于我们的CVPR 2020论文PointVoxel-RCNN用于从点云进行3D对象检测。 代码： 代码。 作者：石少帅，郭朝旭，李丽，王哲，石建平，王晓刚，李洪生。 抽象的 我们提出了一种新颖的，高性能的3D对象检测框架，名为PointVoxel-RCNN（PV-RCNN），用于从点云中进行精确的3D对象检测。 我们提出的方法将3D体素卷积神经网络（CNN）和基于PointNet的集合抽象进行了深度集成，以学习更多判别性点云功能。 它利用了3D体素CNN的高效学习和高质量建议以及基于PointNet的网络的灵活接收范围的优势。 具体而言，提出的框架通过新颖的体素集抽象模块将具有3D体素CNN的3D场景汇总为一小组关键点，以节省后续计算并对代表性场景特征进行编码。 考虑到体素CNN生成的
PV-RCNN
xinxiang7
02-08 839
PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection Abstract PointVoxel-RCNN是一个新颖的,高表现的3D目标检测框架,从点云中检测3D目标. 我们的方法整合了voxel 3D CNN和基于PointNet的集抽象来学习更多的有鉴别行的点云特征.它充分利用了高效的学习,3D体素的CNN的高质量的proposals以及基于PointNet网络的灵活的感受野.该框架通过一个新的体素集抽象模块将三维场景与三维
【阅读笔记】PV-RCNN
敲碎键盘的博客
03-04 6012
目前在kitti数据集榜单第一名，收录在CVPR2020。与pointRCNN同作者。 1 简介 文章称该方法把point-based和voxel-based两种方法的优势结合起来，提高了3D目标检测的表现。基于体素的操作可以高效的编码多尺度特征表示并生成高质量3D提案框，基于点操作有可变的感受野故可以保留更精确的位置信息。 voxel-based（grid）优缺点：高效、但信息损失降低定位细粒度...
Second代码解读
2301_77102499的博客
05-03 617
【代码】Second代码解读。
3D目标检测(点云+体素)——PV-RCNN
qq_44799766的博客
10-31 3516
PV-RCNN论文阅读及个人分析。
【3D目标检测】PV-RCNN
可乐大牛的博客
10-11 1338
首先，本文是基于点云，并且将点云处理成体素的3D目标检测网络。PV-RCNN融合了点云特征提取中基于体素方法和基于点方法的思想，进一步提高检测的性能提出了一种voxel-to-keypoint的编码方法，该方法将一帧内的多尺度体素特征编码为一系列的关键点中。这些关键点不仅保留了准确的位置信息，还拥有丰富的全局信息，可以提高三维检测性能。提出了一种在proposal中使用的多尺度的RoI特征提取层。该层可以通过多个感受野提取丰富的上文信息，用于优化预测框和置信度评分。
论文阅读|基于点云的3D目标检测之SECOND，是对VoxelNet的改进
yanghao201607030101的博客
03-23 2007
SECOND是对VoxelNet的改进，其输入是点云，将点云离散化到体素之后，利用PointNet的VFE编码每个体素的特征构成稀疏的3D特征图，为了节约计算，利用稀疏3DCNN卷积中间层对此稀疏3D特征卷积，最后得到一个2维特征图，最后使用FPN检测头做定位、分类和定向三个子任务。
SECOND数据集
03-26
### SECOND 数据集概述 SECOND 数据集是一个广泛应用于自动驾驶领域研究的数据集合，其设计目标是为了支持基于激光雷达点云的目标检测任务。该数据集通常由多个模块组成，包括但不限于原始传感器数据、标注信息以及辅助工具脚本。 #### 数据处理流程 在使用 SECOND 数据集之前，需了解其基本的数据处理流程，这与常见的机器学习项目类似，具体如下： - **数据收集**：获取来自车辆传感器（如摄像头、激光雷达等）的原始数据[^1]。 - **数据清洗**：去除噪声和冗余数据，确保后续分析的质量。 - **数据标注**：为每帧点云数据打上标签，用于训练模型识别特定对象（如行人、汽车等）。此过程可能涉及人工或半自动化的标注方法。 - **数据分割**：将大规模数据划分为训练集、验证集和测试集，以便于评估模型性能。 - **数据存储与管理**：采用高效的数据库管理系统来保存和检索大量结构化及非结构化数据。 #### 关键特性描述 对于 SECOND 数据集中的一些重要属性需要注意： - `ego_pose` 和 `sample_data` 记录之间存在一对一映射关系，这意味着每次采集样本的同时也会记录下对应的自车姿态信息[^2]。这种关联有助于重建场景动态变化并校正感知误差。 - 如果计划利用 MIMIC IV 类型的大规模医疗健康相关 CSV 文件作为补充输入，则建议预先配置 PostgreSQL 数据库环境以应对海量条目带来的挑战[^3]。尽管这不是直接针对 SECOND 的指导方针，但对于跨域融合多源异构数据而言仍然具有借鉴意义。 #### 下载指南 目前公开可得版本可通过访问官方网站或者授权合作机构页面完成注册认证后再行下载操作；与此同时部分第三方平台也可能提供镜像链接但安全性存疑故不推荐选用。正式版文档一般随压缩包一同附带其中包含详细的 API 接口定义样例程序片段以及其他技术支持资料供开发者查阅参考。 ```python import second.core.box_np_ops as box_np_ops from second.pytorch.models.voxelnet import VoxelNet # 初始化VoxelNet网络实例 voxel_net = VoxelNet(...) ``` 上述代码展示了如何引入 SECOND 提供的核心功能模块之一——box_np_operations 来执行边界框运算逻辑，并创建了一个 voxelization-based 检测框架的基础类对象。
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NNNNNathan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值