【点云识别】Learning to Segment 3D Point Clouds in 2D Image Space (CVPR 2020)

最新推荐文章于 2025-01-08 11:27:40 发布

原创

最新推荐文章于 2025-01-08 11:27:40 发布 · 1.9k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#点云

Learning to Segment 3D Point Clouds in 2D Image Space

本文介绍一篇cvpr2020里面关于点云部件分割的文章。
论文
 代码

1. 问题

相比于2D U-net 的架构上，点云上的部件分割没有取得比较好的进展。
所以这篇文章，将3D点云投影到2D空间上，再使用U-net的架构进行分割，取得的效果可谓是遥遥领先！

在这里插入图片描述

2. 思想

整体流程就是以下三步

Construct graphs from point clouds.
Project graphs into images using graph drawing.
Segment points using U-Net.

在这里插入图片描述
首先将2048个点，来源于shapent 或者partnet, 将其聚类成32个类别。然后将这32个聚类中心映射到16x16规格的grid上。然后，对于属于一类的点，将他们再映射

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

orientliu96

关注关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
4
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

CVPR 2020——Learning to Segment 3D Point Clouds in 2D Image Space

Dujing2019的博客

05-08

1512

Learning to Segment 3D Point Clouds in 2D Image SpaceAbstract（一）Introduction（二）Related Work（三）Our Method: A System Overview3.1. Graph Construction from Point Clouds3.2 Graph Drawing: from Graphs to Im...

Geometry Sharing Network for 3D Point Cloud Classification and Segmentation

qq_46403004的博客

01-04

1970

摘要问题：深度CNN在点云处理方面取得了一些进展，但在旋转、平移等大型几何变换方面处理得不够好，并影响了最终的分类性能。提出了一个几何共享网络GS-Net——可以有效的学习全局特征的点表述，增强网络对于几何变换的鲁棒性 GS-9Net在聚合点特征上提出了一个更加全局的方式： GS-Net包括几何相似性连接模块GSC，GSC提出了特征图，将距离远但是特征相似，几何相关的点聚合在一起，从而将欧式空间和特征空间上的邻近点进行聚合。这样的设计使得GS-Net可以有效地抓取局部和全局特征，例如对称性、曲

4 条评论您还未登录，请先登录后发表或查看评论

Learning-to-Segment-3D-Point-Clouds-in-2D-Image-Space

04-14

学习在2D图像空间中分割3D点云概述与通过定制卷积算子捕获3D点云中的局部模式的文献相反，本文研究了如何有效地将此类点云投影到2D图像空间中的问题，从而使传统2D卷积神经网络（CNN））（例如U-Net）可用于细分。为此，我们受到图绘制的激励，并将其重新构造为整数编程问题，以学习每个单个点云的拓扑保留图到网格映射。为了在实践中加快计算速度，我们进一步提出了一种新颖的分层近似算法。借助Delaunay三角剖分从点云构建图以及使用多尺度U-Net进行分割，我们设法分别在ShapeNet和PartNet上展示了最新的性能，与文献相比有了很大的改进。注意非常遗憾，提交后我们丢失了CVPR 2020代码。该存储库是转载的作品，我们发布了一个预训练的网络模型，其实例平均数为88.0％，类平均数为86.5％。更新的ArXiv预印本可。 Conda环境设置 conda create -

Learning to Segment 3D Point Clouds in 2D Image Space（CVPR2020）论文分析

lzhttbb的博客

10-26

379

本文创新地研究了如何有效地将点云投影到二维图像空间，借助构建图形的 Delaunay 三角剖分理论和多尺度 U-Net 网络设计，从而使传统的二维卷积神经网络可以应用于点云分割。首先，本文利用图形绘制的理论，将点云投影问题转化为整数规划问题，学习每个点云的拓扑保持图到网格的映射；其次，本文提出了一种新的分层近似算法，来加快计算速度；最后，文中方法在 ShapeNet 和PartNet 数据集上展示了最先进的性能，如下图所示。本文方法在目前的点云分割方法中具有...

学习在2D图像空间中分割3D点云：一个深度学习开源项目教程

gitblog_00465的博客

08-21

525

学习在2D图像空间中分割3D点云：一个深度学习开源项目教程项目介绍 Learning to Segment 3D Point Clouds in 2D Image Space 是由Zhang-VISLab开发的一个开源项目，旨在解决如何利用2D图像信息来有效分割3D点云的问题。该项目通过结合深度学习技术，在2D图像空间中对3D点云数据进行处理，从而实现高效的分割任务。它对于自动驾驶、机器人导航以...

图像风格迁移cvpr2020_GitHub - wty2019/CVPR2020-Code: CVPR 2020 论文开源项目合集

weixin_39689297的博客

01-13

1229

CVPR2020-CodeCVPR 2020 论文开源项目合集，同时欢迎各位大佬提交issue，分享CVPR 2020开源项目关于往年CV顶会论文(如ECCV 2020、CVPR 2019、ICCV 2019)以及其他优质CV论文和大盘点，详见： https://github.com/amusi/daily-paper-computer-visionCNNExploring Self-attent...

【CVPR2020】计算机视觉与模式识别会议论文完全清单_Part2

TomRen

06-11

3737

CVPR 2020 的论文已经于6月10号放出由于篇幅限制分两部分发出—>part1 Todo：word-cloud Relative Interior Rule in Block-Coordinate Descent Author: Tomas Werner,Daniel Prusa,Tomas Dlask Learning Combinatorial Solver for Graph Matching Author: Tao Wang,He Liu,Yidong Li,Yi Jin,Xi.

探索3D点云分割的新维度：2D图像空间的学习之道

gitblog_00818的博客

08-23

749

探索3D点云分割的新维度：2D图像空间的学习之道在深度学习的浪潮中，Learning to Segment 3D Point Clouds in 2D Image Space这一创新项目打破了传统的框架，它巧妙地将复杂的三维点云数据映射至二维图像空间，从而开启了点云处理的新篇章。本文将深入解析这一项目，带你领略其独特的魅力与广泛的应用潜力。项目介绍本项目源于对如何高效且有效地将3D点云信息转...

点云处理——3D Point Cloud Segmentation

qq_24505417的博客

09-25

3487

任务三：点云语义分割 (3D point cloud semantic segmentation)

点云分割和点云分类（点云语义分割）

最新发布

qq_36812406的博客

01-08

2048

1、2024年CVPR 3D点云数据方向总汇。

PointConv: Deep Convolutional Networks on 3D Point Clouds （CVPR-2019）

向上生长的程序媛的博客

08-13

1555

文章创新点： 1、提出了PointConv：PointConv是一种密度重加权卷积，它能够在任何一组3D点上完全逼近3D连续卷积。 2、引入了一种有效提高存储效率的方法来实现PointConv，能够使用改变求和顺序的重构来大大提高存储器效率。最重要的是，它允许扩展到CNN的规模。该方法可以实现与2D卷积网络中相同的平移不变性，以及点云中点的排序的不变性。 3、将PointConv扩展到反卷积—PointDeconv，获得更好的分割结果，而大多数先进算法不能实现反卷积操作。 1、3D点云的卷积在3D空间中

[LiteratureReview]PointNet Deep Learning on Point Sets for 3D Classification and Segmentation

GRF-Sunomikp31

04-03

3720

[LiteratureReview]PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation 出处：2017 CVPR，（截止到2022-4-3）Google论文被引7000+次；深度学习点云处理先驱工作； Introduction 背景：典型的卷积架构需要高度规则的输入数据格式，例如image grids或 3D voxels，以便执行权重共享和其他内核优化；由于point cloud（和meshes）的 i

国内首个面向工业级实战的点云处理课程

3D视觉工坊

06-17

1169

01背景介绍计算机视觉的最终体现是三维视觉，而三维视觉的表达方式则是点云，点云处理在整个三维视觉领域占有非常重要的地位，几乎涉及到所有相关领域，例如自动驾驶感知定位、SLAM、三维场景重建...

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation（2017）

weixin_43575791的博客

06-04

508

点云的特征：几何数据结构、不规则、可以转换为3D立体网格或图片集合处理、不必要的数据量 PointNet：consumes pointcloudsdirectly geometric datastructure 3D voxel grids ...

(02)Cartographer源码无死角解析-(48) 2D点云扫描匹配→扫描匹配基本原理讲解，代码总体框架梳理AddAccumulatedRangeData()

江南才尽江南山，年少无知年少狂！

01-10

2898

通过前面你的一系列博客，已经知道 Cartographer 中的概率栅格图是如何建立的了。不过需要注意的一点是该地图并不仅仅是保存下来给来看的，其还会被点云扫描匹配使用到，点云扫描匹配目的是估算位姿(该部分内容后面会详细讲解)。在 slam 中分为 Scan match 与 Point cloud match，通常情况下前者指的就是2D扫描匹配，后者指的是3D点云匹配。为了方便后续代码的理解，这里简单介绍一下扫描匹配的原理，先来看下图(理想位姿)：图一：理想位姿1 、方格 → 所有的栅格组成。

RGBD物体识别(2)--点云分割

heroacool的专栏

03-24

1万+

对于RGBD物体识别问题，我采用的思路是先从几何特征，将物体的点云分割好，也就是将不同物体通过点云分割出来，然后通过成像关系和RGBD配准信息，在图像上找到对应的区域ROI，然后对图像进行识别，后续根据识别结果再进行抓取。当然其中还有一个很重要的地方，就是物体的姿态估计，或者说最佳抓取点的选取，这个问题暂且不管。本文重点关注未知物体的点云分割工具PCL SegmenterLight步骤1，安装和编

【点云识别】Multi-Path Region Mining ForWeakly Supervised 3D Semantic Segmentation on Point Clouds

Orientliu96的博客

04-21

1609

Multi-Path Region Mining ForWeakly Supervised 3D Semantic Segmentation on Point Clouds 本文介绍一篇cvpr2020里面关于点云弱监督分割的文章。论文目前还没有开源代码 1. 问题目前获得大规模点云已经不是一件困难的事情了，但是对其进行标注是十分费时。例如 ScanNet 数据集，对一个scan标注时间的...

点云欧式聚类分割原理_知荐 | 基于深度学习的实时激光雷达点云目标检测及ROS实现...

weixin_42110533的博客

01-05

1329

近年来，随着深度学习在图像视觉领域的发展，一类基于单纯的深度学习模型的点云目标检测方法被提出和应用，本文将详细介绍其中一种模型——SqueezeSeg，并且使用ROS实现该模型的实时目标检测。传统方法VS深度学习方法实际上，在深度学习方法出现之前，基于点云的目标检测已经有一套比较成熟的处理流程：分割地面->点云聚类->特征提取->分类，典型的方法可以参考Velodyne...

Small but Mighty: Enhancing 3D Point Clouds Semantic Segmentation with U-Next Framework

05-11

The field of 3D point cloud semantic segmentation has been rapidly growing in recent years, with various deep learning approaches being developed to tackle this challenging task. One such approach is the U-Next framework, which has shown promising results in enhancing the semantic segmentation of 3D point clouds. The U-Next framework is a small but powerful network that is designed to extract features from point clouds and perform semantic segmentation. It is based on the U-Net architecture, which is a popular architecture used in image segmentation tasks. The U-Next framework consists of an encoder and a decoder, with skip connections between them to preserve spatial information. One of the key advantages of the U-Next framework is its ability to handle large-scale point clouds efficiently. It achieves this by using a hierarchical sampling strategy that reduces the number of points in each layer, while still preserving the overall structure of the point cloud. This allows the network to process large-scale point clouds in a more efficient manner, which is crucial for real-world applications. Another important aspect of the U-Next framework is its use of multi-scale feature fusion. This involves combining features from different scales of the point cloud to improve the accuracy of the segmentation. By fusing features from multiple scales, the network is able to capture both local and global context, which is important for accurately segmenting complex 3D scenes. Overall, the U-Next framework is a powerful tool for enhancing the semantic segmentation of 3D point clouds. Its small size and efficient processing make it ideal for real-time applications, while its multi-scale feature fusion allows it to accurately segment complex scenes. As the field of 3D point cloud semantic segmentation continues to grow, the U-Next framework is likely to play an increasingly important role in advancing this area of research.