课程笔记-三维点云处理06 ——3D Object Detection（上）

最新推荐文章于 2024-12-10 10:27:26 发布
原创 最新推荐文章于 2024-12-10 10:27:26 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #cv #计算机视觉 #python

这篇笔记介绍了3D点云处理课程中的3D物体检测，包括基于图像的检测方法如RCNN系列，以及点云处理的VoxelNet和PointRCNN。讨论了物体检测的挑战、评价指标如IoU、precision和recall，以及NMS算法。还概述了一阶段和二阶段检测网络的区别和应用。

课程笔记-三维点云处理06 ——3D Object Detection（上）

本系列笔记是对深蓝学院所开设的课程：《三维点云处理》的笔记 课程每周更新，我也会努力将每周的知识点进行总结，并且整理成笔记发上来，欢迎各位多多交流&批评指正！！

本文主要为课程第六章的笔记！
由于第六章继续进行深度学习领域知识讲解，因此不仅知识量陡增，课程量也加大，因此本章将分为上下两篇笔记进行记录。

本息可主要讲3D物体感知的昂发，介绍基于图像的、基于体素和点云的、以及基于融合的3D物体感知深度学习方法及经典理论

课程链接：

三维点云处理——深蓝学院
正式内容: ####################################################
本节课大纲：

############################################################

Introduction

本节课大纲：
在这里插入图片描述
先讲二维物理检测；二维神经网络是对于点云处理的基础，有很多方法都是引申过来的，因此有较大的实际意义。

再讲三维点云的物体检测：
voxel based 和pointRCNN 两个点云处理的大类别

物体检测问题：
对于在空间中出现的待检测物体用长方体标出

在这里插入图片描述
输入是一个点云图或者图片，输出是一个3D包围盒，包含参数：长；宽；高；x；y；z；指向；类别；

问题拆分：一般将物体检测拆分成连个子任务：物体的定位和物体的分类
即 先检测有没有，再检测是什么
在这里插入图片描述

基于图像/点云的物体检测所遇挑战、困难或局限性：
图像和点云数据各有利弊，也各有好坏

最低0.47元/天 解锁文章
【论文阅读】【综述】3D Object Detection 3D目标检测综述
麒麒哈尔的博客
06-04 4万+
aaa3D Detection新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 3D Detection 你好！...
3D Object Detection 3D目标检测 深度图补全 车辆3D检测 Deep MANTA BundleFusion KinectFusion MaskFusion 3D点云分割网络
万有文的博客
04-04 932
3D Object Detection 3D目标检测 3d检测跟踪 利用光流+ransac 进行目标跟踪。
3D Object Detection with Latent Support Surfaces
07-04
We develop a 3D object detection algorithm that uses latent support surfaces to capture contextual relationships in indoor scenes. Existing 3D representations for RGB-D images capture the local shape and appearance of object categories, but have limited power to represent objects with different visual styles. The detection of small objects is also challenging because the search space is very large in 3D scenes. However, we observe that much of the shape variation within 3D object categories can be explained by the location of a latent support surface, and smaller objects are often supported by larger objects. Therefore, we explicitly use latent support surfaces to better represent the 3D appearance of large objects, and provide contextual cues to improve the detection of small objects. We evaluate our model with 19 object categories from the SUN RGB-D database, and demonstrate state-of-the-art performance
3D Object Detection
weixin_44749835的博客
10-09 207
点云： 激光雷达只能从一个特定的角度观察三维世界 2.5D 介绍激光点云这篇文章很不错： https://mp.weixin.qq.com/s?__biz=MzAwNTMzODc4OA==&mid=2456142519&idx=1&sn=a904ee65d77e212de16f82de1ec1bcd7&chksm=8c8f417cbbf8c86a0868829b62f6a344bd381d7c385aed14d5de8a7f8ad08b869c4ecd6ef72d&s
3D Object Detection简单介绍
百年孤独百年的博客
06-11 1850
3D Object Detection 是计算机视觉领域中的一项重要任务，它的目标是在三维点云数据中检测出场景中的物体，并估计它们的位置、姿态、大小等信息。在本教程中，我们将介绍 3D Object Detection 的基本原理、常用的数据集、算法和工具，以及如何使用它们进行目标检测。
课程笔记-三维点云处理06 ——3D Object Detection（下）
Jason_____Wang的博客
04-18 466
课程笔记-三维点云处理06 ——3D Object Detection（下） 本系列笔记是对深蓝学院所开设的课程：《三维点云处理》的笔记 课程每周更新，我也会努力将每周的知识点进行总结，并且整理成笔记发上来，欢迎各位多多交流&批评指正！！ 本文主要为课程第六章的笔记！ 由于第六章继续进行深度学习领域知识讲解，因此不仅知识量陡增，课程量也加大，因此本章将分为上下两篇笔记进行记录。 本息可主要讲3D物体感知的昂发，介绍基于图像的、基于体素和点云的、以及基于融合的3D物体感知深度学习方法及经典理论 课程链
End-to-End Multi-View Fusion for 3D Object Detection in Lidar Point Clouds论文笔记
Rolandxxx的博客
03-02 1352
End-to-End Multi-View Fusion for 3D Object Detection in Lidar Point Clouds 谷歌2019 1.出发点 瞰视图中的点云体素化，点云稀疏且具有高度可变的点密度，这可能导致检测器难以检测到远处或较小的物体(行人、交通标志等)。另一方面，透视视图提供了密集的观察，这可以允许对这样的情况进行更灵活的特征编码。所以两者结合可有效地学习利用两者的组成信息。 2.文章主要贡献： 1）： ...
【3D目标检测】Multi-Task Multi-Sensor Fusion for 3D Object Detection阅读笔记（2019）
qq_42575422的博客
08-24 1211
1、为什么要做这个研究（理论走向和目前缺陷） ? 多传感器融合向来不是一个简单的事，融合方式设计的不好不但可能不会信息互补，还有可能各传感器的缺点都继承下来，效果更差。 2、他们怎么做这个研究 （方法，尤其是与之前不同之处） ? 做点云和图像的融合。点云利用的是BEV特征和图像特征借助3d点这个中间媒介进行关联，然后把关联上的图像像素点特征加到BEV特征上去，这是稀疏point-wise融合，在特征提取主干网络阶段实现。利用BEV特征预测的3D候选区分别投射到BEV特征图和图像特征图上，得到的BEV roi
阅读笔记：CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection
chengle的博客
04-12 1195
1.想要解决的问题 利用 LiDAR 进行三维目标检测和利用视频进行二维目标 检测的神经网络都取得了显著进展。但是二者融合还是比较困难的，所以本文提出一种新的摄像机-lidar 对象候选(CLOCs)融合网络。CLOCs 融合提供了一个低复杂度的多模态融合框架，显著提高了单模态检测器的性能。 2.前言 3D 对象检测更具挑战性， 需要更多的输出参数来指定目标周围的 3D 定向边界框。 都受到输入数据分辨率通 常低于视频的阻碍，这对较长范围的精度有很大的不利影响。 与 2D 视觉检测不同，基于 3D 的
Sliding Shapes for 3D Object Detection in Depth Images
wi162yyxq的博客
08-05 1660
好久没有写博客了。其实主要也是自己没什么好写的。。。水平有限，哎。。。。最近在搞机器人运动学的东西，所以深度视觉这里就疏忽了。 不过，最近看到一个以前的文章觉得很有意思，所以想拿出来和大家分享一下。 文章的名字就是标题《Sliding Shapes for 3D Object Detection in Depth Images》，意思就是在深度图像中使用滑动窗口来进行物体识别。 效果如下：
Two-stage 3D object detection in point clouds
weixin_43955917的博客
02-19 274
相比于第二阶段的RefineNet，两阶段网络中RPN往往是大家关注的焦点。 RPN 相比于之前通过对点云数据形式进行重新组织（eg. MV3D, VoxelNet）来产生proposal,本文直接利用分割网络来处理点云，产生分割结果后，进一步对foreground point预测proposal。 RefineNet ...
3D Object Detection——Segmentation-based methods
qq_24505417的博客
09-25 460
PointRCNN PointPainting 代表1：PointRCNN 代表2：PointPainting PointPainting: Sequential Fusion for 3D Object Detection
【3D目标检测】3D Object Detection for Autonomous Driving: A Survey
可乐大牛的博客
10-22 2633
这是一篇21年的综述，介绍了3D目标检测背景、传感器以及基于传感器的算法分类及其特点。
【学习笔记】深蓝学院-三维点云处理
麒麒哈尔的博客
07-09 7779
文章目录PCA & Kernel PCASuface Normal & Filters PCA & Kernel PCA Kernel PCA可以理解为，先通过非线性变换，将点云投影到高维空间中，然后在高维空间中做PCA。但这个非线性变换函数很难找，所以通过数学变换，改写，用核方法表示。使用常用的，多项式的核，高斯的核就可以实现Kernel PCA。 Suface Normal & Filters Surface Normal就是PCA中中最后一维的向量，将点云做PCA，最后
Offboard 3D Object Detection from Point Cloud Sequences
w_t_f的博客
12-10 1137
通过连续帧的信息来辅助进行3D检测，专注于离线的3D自动标注任务，与车载算法相比，遥遥领先。
GS3D An Efficient 3D Object Detection Framework for Autonomous Driving算法解析
qq_29462849的博客
06-08 1761
算法基本思想 二维 box 的定位、类别判断、角度预测 旋转。 3d box 尺寸的预估 3d box 在相机坐标系下的位置粗略计算 物体 3d box 的 Refinement
【3D目标检测】3D Object Detection from Images for Autonomous Driving: A Survey
可乐大牛的博客
11-07 2115
这是一篇22年的综述，介绍了3D目标检测中基于图像的检测算法。（论文中说本文是第一篇基于图像的3D目标检测算法综述！）
3D Object Detection from Images for Autonomous Driving: A Survey（自动驾驶中的图像3D目标检测综述）论文笔记
weixin_45657478的博客
07-25 1474
自动驾驶中的图像3D目标检测综述
【论文阅读】【三维目标检测】GS3D: An Efficient 3D Object Detection Framework for Autonomous Driving
麒麒哈尔的博客
09-17 2271
文章目录GS3D2D Detection and Orientation PredictionGuidance Generation GS3D: An Efficient 3D Object Detection Framework for Autonomous Driving 该文章使用单目视觉做3D object detection。由于用单目视觉固有的缺陷，丢失了一维信息，所以文章中用了很多统...
三维视觉识别车辆
最新发布
03-27
### 三维视觉在车辆识别中的技术与应用 #### 背景介绍 三维视觉（3D Vision）是一种利用多源数据获取物体的空间几何信息的技术，广泛应用于自动驾驶、机器人导航以及监控等领域。对于车辆识别而言，三维视觉能够提供更丰富的场景理解能力，从而提升检测精度和鲁棒性。 #### 技术概述 当前主流的三维视觉车辆识别方法主要依赖于单目相机、双目立体视觉或者激光雷达等设备采集的数据。这些传感器可以单独工作也可以联合使用以实现更高的性能。例如，在《Task-Aware Monocular Depth Estimation for 3D Object Detection》一文中提到的任务感知单目深度估计方法被用于增强仅依靠摄像头输入情况下的三维对象定位效果[^1]。这种方法通过学习任务特定特征提高了模型预测准确性的同时降低了计算复杂度。 另外，《综述笔记——A Review of Vehicle Detection Techniques for Intelligent Vehicles》指出除了单一模态外还可以采用多种传感方式相结合的方式来进行目标跟踪及分类处理；其中特别强调了毫米波雷达与计算机视觉系统的协作机制的重要性及其优势所在[^2]。具体来说就是通过对来自不同物理特性的探测装置所得到的结果加以综合分析进而达到更好的分辨能力和抗干扰特性。 至于具体的算法层面，则有学者探索过基于传统手工设计特征提取加支持向量机(Support Vector Machine,SVM)分类框架完成此项任务的可能性。像Peng等人在其研究工作中就尝试运用带有空间金字塔结构化表达形式并结合Boosting技术生成二值描述子再经由非线形核函数作用后的SVM来做最终判定依据[^3]。然而此类方案往往受限于环境变化较大时表现不佳等问题因此需进一步改进优化才能满足实际需求。 #### 应用实例 随着硬件成本下降和技术进步，越来越多的实际应用场景开始采纳上述提及的一些先进理念和技术手段： - **智能交通管理**：借助高分辨率地图配合实时动态监测系统可有效缓解城市拥堵状况； - **无人驾驶汽车研发测试平台构建**：为验证新型驾驶辅助功能提供了可靠的基础支撑条件； - **安防领域入侵报警触发逻辑设定**：当发现可疑移动物体接近预设安全距离范围即刻发出警告通知相关人员采取相应措施防止事故发生等等。 总之，尽管目前仍存在诸多挑战有待克服比如如何平衡效率与质量之间的关系或是解决极端天气条件下系统稳定性不足等情况但不可否认的是未来几年内该方向必将迎来更加迅猛的发展势头！ ```python import numpy as np from sklearn.svm import SVC from skimage.feature import hog def extract_features(image): fd, _ = hog(image, orientations=9, pixels_per_cell=(8, 8), cells_per_block=(2, 2), visualize=True) return fd.flatten() # 假定我们已经拥有一组训练样本 X_train 和标签 y_train clf = SVC(kernel='linear') X_train_hog = np.array([extract_features(img) for img in X_train]) clf.fit(X_train_hog, y_train) def predict_vehicle_type(new_image): new_feature = extract_features(new_image).reshape(1,-1) prediction = clf.predict(new_feature)[0] return 'Car' if prediction==1 else 'Truck' ``` 以上代码片段展示了一个简单的HOG+SVM分类器的设计思路，它可以从给定图片中抽取hog特征并向量表示之后送入预先训练好的svm模型得出类别归属结果。 ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值