STD: Sparse-to-Dense 3D Object Detector for Point Cloud 阅读笔记

最新推荐文章于 2025-05-03 20:45:07 发布
原创 最新推荐文章于 2025-05-03 20:45:07 发布 · 386 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #深度学习

博客围绕基于球形Anchor的目标检测展开。在Proposal生成阶段，使用球形Anchor减少数量、提高recall，通过网络精修和NMS消除冗余；定义PointsIoU区分前景背景。特征提取用PointsPool和FC替代SA模块。Box预测网络包括Box估计和IoU估计部分，部分内容待完善。

Proposal生成

球形Anchor

STD方法使用球形Anchor，不同的检测目标使用不同的球半径。因为球形Anchor没有方向，网络后期直接预测角度，所以Anchor的数量比传统的带方向的长方体Ancho少了50%减少到了16K左右，通过NMS方式（IoU是BEV投影上的）删除冗余的Anchor最终减少到500个左右。且球形Anchor比传统Anchor拥有更高的recall。

proposal 生成网络

在每个Anchor中收集点，输入PointNet进行分类前景、背景。
然后计算Anchor的中心偏移量和预定义大小的偏移量，对Anchor进行精修。
角度回归方面：定义了NaN_aNa​个角度箱子(angle bins)。残差值根据bin的值进行回归。(实验中Na=12N_a=12Na​=12)。
使用基于分类评分的NMS和面向BEV的IoU来消除冗余的proposals。在训练期间保留多达300个proposals，在测试期间保留100个proposals。

Anchor 类别定义

因为球形Anchor与传统Anchor不同，所以作者提出了一种新的方式——PointsIoU，使用两个区域相交区域内的点数与两个区域联合区域内的点数的商。>0.55>0.55>0.55则为前景，否则为背景。

Proposal特征提取

动机

在这里插入图片描述
因为效率的问题使用PointsPool 和 FC 替代了Point++中的3个SA模块，同时又有很好的效果。

PointsPool 层

总共分三个步骤：

  1. 在每个Proposal中选取N个点。每个点减去Proposal的中心并做刚性旋转到规范的位置下。
  2. 将Proposal体素化，每个体素中采样Nr=35N_r=35Nr​=35个点。体素特征包括点的标准坐标特征和语义特征。
  3. 使用VoxelNet中的VFE来抽取特征。

Box 预测网络

Box估计部分

使用两个FC层(通道数为(512,512))来抽取每个proposal的特征。
使用另外两个FC层来进行分类和回归预测。直接预测ground truth和proposal的偏移量(tl,tw,th)(t_l,t_w,t_h)(tl​,tw​,th​)和中心偏移(tx,ty,tz)(t_x,t_y,t_z)(tx​,ty​,tz​)

IoU估计部分

TODO

损失函数

TODO

实验部分

TODO

RRRRRRian
关注
深度学习论文: Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed
mingo_敏
05-08 2015
本文介绍了一种基于LoFTR改进的新型半稠密局部特征匹配器。作者通过重新审视设计，提出了既提升效率又增强匹配精度的改进。主要改进包括：利用局部信息的相似性，避免在完整特征图上执行Transformer，而是采用聚合注意力模块在减少的令牌上执行，从而提高了效率和性能。此外，还设计了一个两阶段相关层，解决了LoFTR中的位置差异问题，进一步提升了匹配精度。该方法相比LoFTR效率提升约2.5倍，匹配精度更高，并且作为半稠密匹配方法，其效率可与稳健的稀疏特征匹配器LightGlue相媲美。
【复现笔记】SRT3D: Sparse Region-Based 3D Object Tracking
weixin_54470372的博客
10-30 2788
【复现笔记】SRT3D: Sparse Region-Based 3D Object Tracking
【3D 目标检测】STD: Sparse-to-Dense 3D Object Detector for Point Cloud 详解
qq_36380978的博客
09-05 1467
一 核心思想 这篇文章最主要的想法是更好的结合point-based和voxel-based方法，是一个2-stage的检测方法，与Faster RCNN类似，第一阶段进行proposal的选择，第二阶段对第一阶段的proposal进行refine处理。 除此之外，本文还提出Spherical anchor、PointsPool Layer的创新方法，不过个人认为只是对Pointrcnn与voxel的一种整合办法，pointrcnn负责stage-1，VFE作为stage-2的特征提取。 下图为算法的
STD: Sparse-to-Dense 3D Object Detector for Point Cloud
weixin_43489950的博客
08-18 300
https://blog.youkuaiyun.com/wqwqqwqw1231/article/details/100565150
STD：Sparse-to-Dense 3D Object Detector for Point Cloud(腾讯&香港大学)
3D视觉工坊
03-02 996
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达原文地址：https://arxiv.org/abs/1907.10471主要思想本文提出了一种新的两阶段3D目标检测框架，称之为稀...
Sparse-to-dense 3D Object Detector for Point Cloud（KITTI,Tencent Youtu,港中文，2019.7.22）
phy12321的博客
09-29 980
Sparse-to-dense 3D Object Detector for Point Cloud（KITTI,Tencent Youtu,港中文，2019.7.22） 是基于点云的二阶段检测网络。KITTI上性能第一，10FPS 目前主流的点云检测网络可以分为3类，Mutil_view,voxel,point-based, Mutil_view:涉及到如何融合多元信息的问题，无论是将点云投影到...
【论文阅读】【三维目标检测】STD: Sparse-to-Dense 3D Object Detector for Point Cloud
麒麒哈尔的博客
09-05 4061
文章目录STDProposal Generation ModuleProposal Feature GenerationBox Prediction NetworkLoss实验讨论 STD: Sparse-to-Dense 3D Object Detector for Point Cloud 2019ICCV文章，3D Object Detection STD 方法仍然为two stage的方法，...
【2D/3D目标检测】STD: Sparse-to-Dense 3D Object Detector for Point Cloud阅读笔记（2019）
qq_42575422的博客
09-07 600
1、为什么要做这个研究（理论走向和目前缺陷） ? 主要是为了减少计算量和节约计算时间而设计。 2、他们怎么做这个研究 （方法，尤其是与之前不同之处） ? 每个3D点上的anchor设置成球形，避免了朝向的预定义，也就避免了每个点要设置多个anchor。根据每个3D点预测的得分做NMS得到候选的球形候选区（iou计算是根据交集点数/并集点数），然后对球形候选区的点特征输入到pointnet中预测一个长方体形候选区，然后对长方体形的点随机选一部分做体素化，然后VFE层提取特征，得到密集的体素特征，然后输入到全连
【文章阅读】STD：Sparse-to-Dense 3D Object Detector for Point Cloud
有所为，有所成长
09-22 2323
Brief 很新的一篇做检测的文章，是腾讯优图和港科大的联合工作。19年7月22号放在了arxiv上面。 Abstruct STD（sparse-to-dense），two-stage的方法。 （1）第一阶段是对raw-data数据进行一个椭圆的anchor生成一个精确的proposal。这个工作可以做到使用较少的时间到达high recall的结果。然后，利用PointsPool将prop...
目标检测新范式！港大同济伯克利提出Sparse R-CNN
阿木寺的博客
11-25 1718
Sparse R-CNN: End-to-End Object Detection with Learnable Proposals 作者单位：港大, 同济大学, 字节AI Lab, UC伯克利 沿着目标检测领域中Dense和Dense-to-Sparse的框架，Sparse R-CNN建立了一种彻底的Sparse框架， 脱离anchor box，reference point，Region Proposal Network(RPN)等概念，无需Non-Maximum Suppression(NMS)后处
Dense Detector与Dense-to-Sparse Detectors
qq_43980144的博客
05-03 406
在图像或特征图的每个预设空间位置密集生成候选框（object candidates），直接预测其类别和位置偏移。：引入RPN（Region Proposal Network）替代Selective Search，实现端到端。（虽为稀疏检测，但灵感部分来自dense思想）：将图像视为序列化特征，通过全局注意力机制生成候选。：抛弃anchor，直接对特征图每个点预测距离边界的偏移（anchor-free）。：首阶段生成稀疏候选（Region Proposals），次阶段精细化分类/回归。
Program - Python 计算两个球体相交的 IoU (三维 IoU)
AGI
04-14 818
Program - Python 计算两个球体相交的 IoU (三维 IoU)
【论文阅读】【综述】3D Object Detection 3D目标检测综述
热门推荐
麒麒哈尔的博客
06-04 4万+
aaa3D Detection新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 3D Detection 你好！...
基于深度学习的3D目标检测综述-Deep Learning-Based 3D Detection: A Review
dsoftware的博客
08-22 6517
引言 传统的2D目标检测，是得到目标物体的类别，以及图像平面内的包围盒，因此包含的参数为类别c，包围盒的中心(x,y)，长宽(length, width)。 而3D检测的任务是得到目标物体的类别(Classification)以及带朝向的3D包围盒(Oriented 3D Bounding Boxes)，因此，其包含类别c，位置(x, y, z)，size(length, widith, heig...
3D物体识别相关
LDC1314?
12-19 1万+
  前言:      在物体识别或者是三维研究领域,我们知道RGB中包含了纹理、颜色和表观信息,而RGB信息对于光照等因素的鲁棒性不好,深度信息或者说是有关空间三维的信息来说,它能够对于光照等因素有较好的鲁棒性.因此三维物体相关研究也十分火热.它主要分为以下几个部分多视图图像、体积的、点云、多边形网格、本原来进行相关研究. 内容1: 此部分是根据另个人总结拿过来用的,总结的很好.链接地址[1...
3D点云论文汇总-实时更新
WZZ18191171661的博客
03-20 8195
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation-CVPR2017-论文链接-tensorflow代码-pytorch代码 PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space-NIPS20...
[论文笔记] VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
pikachu_777的专栏
10-10 6493
VoxelNet 1. contribution 针对激光雷达获取的高数量级点云数据，提出了一个端到端的可训练深度网络架构，实现精度较高的物体检测任务。 将稀疏的点云数据转化为稠密的体素（voxel）张量，能够进行GPU加速。 2. 网络架构 网络架构分为三层： 特征提取层：将点云划分为voxel形式，使用层级的VFE层提取特征，得到稀疏的voxel-wise特征张量。 中间卷积层：使用3...
目标检测新范式：Sparse R-CNN
zandaoguang的博客
11-28 2548
机器之心转载作者：孙培泽全新的目标检测范式Sparse R-CNN。本文主要介绍一下我们最近的一篇工作：沿着目标检测领域中 Dense 和 Dense-to-Sparse 的框架，Spa...
自动驾驶点云处理文章（转自github）
m0_37870385的博客
05-17 2517
Lidar Point clound processing for Autonomous Driving A list of references on lidar point cloud processing for autonomous driving LiDAR Pointcloud Clustering/Semantic Segmentation Tasks : Road/Ground extraction, plane extraction, Semantic segmentation, open
警告信息: In asMethod(object) : sparse->dense coercion: allocating vector of size 7.5 GiB
最新发布
08-11
<think>首先，用户的问题是关于R语言中的一个警告信息："sparse->dense coercion allocating large memory 7.5 GiB"。这涉及到稀疏矩阵转换为稠密矩阵时分配大量内存的问题。 用户意图：用户可能在处理大型稀疏矩阵时遇到了这个警告，并希望理解其原因、如何避免或解决它。 参考引用： - 引用[1]：展示了Spark中创建稀疏和稠密向量的例子，使用`Vectors.sparse`和`Vectors.dense`。 - 引用[2]：解释了在Seurat中稀疏矩阵的局限性，特别是dgCMatrix类的上限，建议使用Python处理大数据。 - 引用[3]：类似引用[1]，是Scala/Spark代码，展示稀疏向量的创建和访问。 - 引用[4]：关于Mac磁盘满的解决方案，但似乎不直接相关。 用户真正的需求：理解和解决在R语言中处理稀疏矩阵时的内存警告。 关键点： - 警告发生在稀疏矩阵被强制转换为稠密矩阵时。 - 分配了7.5 GiB内存，表明矩阵很大。 - 稀疏矩阵通常用于高效存储大量零元素的数据，但转换为稠密矩阵会占用更多内存。 在R中，稀疏矩阵通常使用Matrix包实现，如dgCMatrix类。转换时，如果矩阵很大，会消耗大量内存。 解决方案： 1. **避免转换**：尽量在稀疏表示下操作，避免转换为稠密矩阵。 2. **使用高效算法**：使用支持稀疏矩阵的函数。 3. **分批处理**：如果可能，分批处理数据。 4. **增加内存**：确保系统有足够内存。 5. **使用其他工具**：如Python（如引用[2]建议），或分布式计算框架如Spark。 结构回答： - 解释警告原因。 - 提供解决方案。 - 给出代码示例（如果适用）。 - 生成相关问题。 回答结构： 1. **理解警告**：解释"sparse->dense coercion"的含义和为什么分配大量内存。 2. **原因分析**：稀疏矩阵转换为稠密矩阵的内存需求。 3. **解决方案**： - 避免不必要的转换。 - 使用稀疏矩阵友好的函数。 - 优化代码。 - 考虑替代工具。 4. **代码示例**：在R中如何创建和处理稀疏矩阵。 5. **相关问题**：生成3个相关问题。 确保中文回答。 最终输出： - 回答用户问题。 - 末尾添加相关问题。</think>### R语言警告 "sparse->dense coercion allocating large memory 7.5 GiB" 的解释与解决方案 在R语言中处理稀疏矩阵时，如果出现警告 `sparse->dense coercion allocating large memory 7.5 GiB`，这意味着您正在尝试将一个稀疏矩阵（sparse matrix）强制转换为稠密矩阵（dense matrix），而这个过程需要分配大量内存（本例中为7.5 GiB）。稀疏矩阵通常用于高效存储大量零元素的数据（例如基因表达数据或推荐系统数据），而稠密矩阵会存储所有元素（包括零），因此当矩阵规模很大时，转换会消耗巨额内存。以下我将逐步解释原因并提供解决方案。 #### 1. **警告原因分析** - **稀疏矩阵 vs 稠密矩阵**： - 稀疏矩阵（如R中`Matrix`包的`dgCMatrix`类）只存储非零元素及其位置，节省内存。例如，一个包含100万行、100万列的矩阵，如果只有1%非零元素，稀疏表示可能只需几百MB内存。 - 稠密矩阵存储所有元素（包括零），因此内存需求为矩阵尺寸的乘积。例如，一个100万×100万的双精度矩阵需要约8 TB内存（计算公式：$n \times m \times 8$ bytes，其中$n$和$m$为维度）。 - **为什么分配7.5 GiB？** 警告中的7.5 GiB表示转换过程尝试分配的内存大小。这通常发生在： - 矩阵尺寸过大（例如，行或列数超过$10^6$）。 - R试图执行一个需要稠密矩阵的操作（如某些矩阵乘法或可视化函数）。 - 稀疏矩阵的非零元素比例较高，但仍远小于稠密表示的需求。 - R的默认稀疏矩阵类（如`dgCMatrix`）有内存上限，在处理超大数据时会触发此警告[^2]。 - **根本原因**： R的底层库在转换时无法高效处理超大稀疏矩阵。Seurat等生物信息学工具也常遇到此问题，因为dgCMatrix类在尺寸超过约$2^{31}-1$元素时（即约20亿非零元素）会失败[^2]。 #### 2. **解决方案：避免或优化转换** 为了避免内存溢出或程序崩溃，您可以采取以下策略。核心原则是：**尽量保持数据在稀疏格式下操作**，避免不必要的转换。 - **策略1：使用稀疏矩阵友好的函数** 许多R函数支持稀疏矩阵输入。检查您的代码，确保操作（如矩阵乘法、统计计算）直接使用稀疏矩阵： - 使用`Matrix`包函数：例如`crossprod()`、`tcrossprod()`进行矩阵运算，或`rowSums()`/`colSums()`计算统计量。 - 避免强制转换：不要使用`as.matrix()`或`as.vector()`，除非绝对必要。 - 示例代码： ```r # 正确：直接在稀疏矩阵上操作 library(Matrix) sparse_mat <- sparseMatrix(i = c(1, 3), j = c(1, 2), x = c(4, 5), dims = c(4, 4)) result <- colSums(sparse_mat) # 高效，不触发转换 # 错误：强制转换会触发警告 dense_mat <- as.matrix(sparse_mat) # 如果矩阵大，会分配7.5 GiB内存 ``` - **策略2：优化数据规模** - **分批处理（Chunking）**：将大矩阵分块处理。例如，使用`foreach`包并行计算： ```r library(foreach) library(doParallel) registerDoParallel(cores=4) # 使用4个核心 # 分块计算列和 chunks <- split(1:ncol(sparse_mat), ceiling(seq_along(1:ncol(sparse_mat))/1000)) results <- foreach(chunk=chunks, .combine=c) %dopar% { colSums(sparse_mat[, chunk]) } ``` - **减少维度**：通过特征选择（如PCA）或采样降低矩阵尺寸。 - **检查非零元素**：如果非零元素比例过高（>10%），稀疏表示可能不高效，考虑其他格式。 - **策略3：增加系统资源或使用高效工具** - **增加内存**：确保您的系统有足够RAM（至少大于7.5 GiB）。如果是Mac系统磁盘满导致内存交换问题，参考磁盘清理方案[^4]。 - **切换到Python或其他语言**： 对于超大矩阵（如基因数据），R的`Matrix`包可能不足。Python的`scipy.sparse`或分布式框架如Apache Spark更高效： - Python示例（使用scipy）： ```python from scipy.sparse import csr_matrix import numpy as np # 创建稀疏矩阵 sparse_mat = csr_matrix(([4, 5], ([0, 2], [0, 1])), shape=(4,4)) # 直接操作，避免转换 col_sums = sparse_mat.sum(axis=0) ``` - 使用Spark（引用[1]和[3]）：Spark的MLlib支持分布式稀疏向量，适合海量数据。 ```scala // Scala/Spark示例：创建稀疏向量 import org.apache.spark.mllib.linalg.Vectors val sv = Vectors.sparse(1000000, Array(0, 10000), Array(1.0, 2.0)) // 高效处理大尺寸 ``` - **升级工具**：在生物信息学中，Seurat V5推荐使用Census包或Python替代方案[^2]。 - **策略4：调试与监控** - 使用`object.size()`检查矩阵内存占用： ```r library(pryr) object_size(sparse_mat) # 稀疏矩阵大小 object_size(as.matrix(sparse_mat)) # 稠密矩阵大小（预估） ``` - 监控内存：用`gc()`强制垃圾回收，或在RStudio中查看内存使用。 #### 3. **预防措施** - **测试阶段使用小样本**：在大数据上运行前，先用子集测试代码。 - **优先选择稀疏算法**：许多机器学习库（如`glmnet`）支持稀疏输入。 - **文档参考**：查阅`Matrix`包文档（`?sparseMatrix`）或社区资源如Stack Overflow。 通过以上方法，您可以有效避免此警告，提升代码效率。如果数据量极大（如超过10亿元素），强烈建议切换到分布式工具如Spark[^1][^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值