[读论文]CVPR2019: Occupancy Networks: Learning 3D Reconstruction in Function Space

已于 2022-07-19 18:35:58 修改
阅读量1.4w 收藏 65
点赞数 33
分类专栏： point cloud AI 读论文 文章标签： point cloud deep learning
于 2021-11-03 19:23:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34342853/article/details/120078510
版权

目录

核心思想

本文提出了一种3D图形的表示方法，并给出了得到他的网络架构和训练方法。
用decision boundary 来表示物体的表面。
这个方法贼好，放在2D类比，就像像素图和矢量图，矢量图是精度是无限的，但又不会耗费额外的内存。

（对啊，早该想到啊，怎么会2019年才出来。。。既然2D可以有矢量图，3D就不能吗）
在这里插入图片描述
具体一点，一个物体用一个occupancy function 来表示：
在这里插入图片描述
注意，是实数空间，不是离散的按一定分辨率取样的。
然后用一个神经网络来逼近这个函数，给每个实空间的3D点一个0-1之间的占用概率（因此和二分类模型等价）。神经网络f输入是一个点和一个几何体的表示（X），输出是一个0-1之间的实数，表示这个点在这个几何体里的概率。

在这里插入图片描述

这不就完事儿了，直接拿数据训练一下呀，就是一个普通的二分类网络。

对不同输入类型的数据，用不同encoder来输入。
单个图像：ResNet
体素：3D CNN
点云：PointNet等

涉及到的底层模块

Marching box算法，生成mesh用的
Fast-Quadric-Mesh-Simplification algorithm： 简化mesh用的。似乎不是一个通用方法，而是github上一个挺好的算法。https://github.com/sp4cerat/Fast-Quadric-Mesh-Simplification

网络结构

在这里插入图片描述

训练

需要采样进行训练。
每个minibatch采样k个点。
论文4.6比较了不同的采样方式，发现在boundingbox内均匀采样，并加一个小的padding，效果最好。
损失函数就是交叉熵函数。

mesh提取

网络训练好后，如何得到mesh呢？
论文提出 Multiresolution IsoSurface Extraction (MISE), 多分辨率表面提取算法。输入训练好的occupancy network，输出mesh。

在这里插入图片描述

方法描述：

  1. 把要判断的范围按一个粗粒度的初始分辨率分成grid。每个grid有一些角点（三维的话相当于一个cube，有8个顶点）
  2. 所有这些角点，用训练好的网络计算出occupancy value (0-1之间的实数).
  3. 网络超参数 τ \tau τ，物体厚度。大于等于 τ \tau τ的为occupied，否则为un occupied. （可以认为边界点的occupancy value 为 τ \tau τ。）
  4. 如果一个grid，他有的角点是occupied，有的是unoccupied，那他就是active的grid，后面要继续考察。（淡红色的那些grid）
  5. 把所有active的grid再次细分，（对半分，最后一共八个）。重复以上步骤，直到满足目标分辨率。
  6. 用marching cubes 算法来得到mesh。(线性插值认为一个grid的一条边中，和等值面的交点由顶点值做线性插值计算。（等值面是occupancy value为 τ \tau τ的面）
  7. 用一阶和二阶梯度来优化一下得到的mesh。

marching cubes的一张图示：来自视频
这个视频6分钟，原理只在前半部分三分钟左右，一看就懂，清楚明白
（一个cube8个点，每个点可能在或不在，所以一共2^8, but thankfullly, 只有14种，其余的都是对称）
marchingCubes在这里插入图片描述

一些细节：

  • 初始分辨率需要足够高。一个极端例子是grid太大，整个物体都包进去了。这样grid角点全都是not occupied, 检测出来的物体就没有mesh了。实际发现大约32^3 差不多了。
  • refine的具体细节
    • 第一步：用 Fast-Quadric-Mesh-Simplification algorithm 简化模型。
    • 第二步：用一二阶梯度优化。
      • 每个面随机采样得到点pk, minimize the loss:
      • （这里没看懂）在这里插入图片描述

实验

概述

三方面实验

  • 先检验复杂3D模型用occupancy net的表达能力。也就是将ground truth转换为occupancy net的形式。看二者的精度差别和存储空间差别。主要是和基于体素的方法对比。（废话，那肯定好啊）

  • 再针对single image, noisy point clouds, low resolution voxel representations 分别实验

  • 最后验证生成能力。

baseline方法：

single imagepoint cloudvoxel
voxel based3D-R2N23D-R2N2
point basedPointSet Generating Networks(PSGN)PSGN
mesh basedPixel2Mesh & AtlasNetDeep Marching Cubes (DMC)

Dataset: ShapeNet

评价指标（Metrics）：

  • IoU：模型的交并比。越高越好。（只有watertight mesh 能用）

  • Chamfer-L1 distance：越小越好。（全部可用）
    accuracy和completeness的平均。
    accuracy是预测mesh上的点到groud truth上的点最近的距离。（两者各随机采样100k个点，取均值）
    completeness是 反过来，ground truth上面的点，到最近的output mesh上的点的距离。
    用KD tree求距离。

  • normal consistency score：还没看懂 （点云不可用）
    （一个mesh的法线） 和 （另一个mesh中，他的最近邻居的发现）的绝对点集。（取均值）

具体实验

表达能力实验

给定ground truth的mesh，训练occupancy network。
同时也用体素表达这个ground truth。
对比体素法和ONet的 IoU 和 参数大小。

定量分析：ONet精度更高，参数更少
在这里插入图片描述
平均IoU约为0.89，与精度关系不大。

定性分析：肉眼可见的细致平滑在这里插入图片描述

单个图像3D重建实验：

定量分析：ShapeNet数据集
定性分析：KITTI 和 OnlineProducts dataset

ShapeNet：

在这里插入图片描述

在这里插入图片描述
有趣的是，在Chamfer-L1指标上，其实是AtlasNet最好。
说是PSGN，Pixel2Mesh , AtlasNet都在这个指标上训练了；Onet没有，但也不错。

real data

在这里插入图片描述

点云补全实验：

ShapeNet里面的几何体，采样300个点，再用高斯加噪声。
在这里插入图片描述

体素重建实验

把体素super resolution：分辨率提到贼高。
输入体素，输出mesh。
在这里插入图片描述

无条件mesh生成

有点没看懂，好像是不给定输入，（可能是随机feature作为输入），生成新模型。

能确定的是unsupervised。
但不知道类别是怎么给定的。
在这里插入图片描述

消融实验（Ablation Study）

采样方法中发现均匀采样最好。
模型架构上发现ResNet和CBN（conditional batch normalization ）都很有用。
在这里插入图片描述

代码运行配环境个人笔记

注释掉CMakeList里面的compute_30
可能需要安装glew和 另一个啥
apt-get install parallel

特斯拉应用在自动驾驶汽车上的神经网络模型—Occupancy Networks
人工智能研究所的博客
10-02 6611
另外一个问题是，在计算机视觉领域，我们输出的检测模型都是使用一个标准的方方正正的矩形来表示，无论是汽车，人物，信号灯等，当计算机视觉系统检测完成后，总是按照一个矩形框来实时显示画面。CVPR会议上，每年都会有几十篇论文发布，来讲解新的对象检测算法，YOLO，Resnet等等，以及基于已有的算法的改进版本，但是所有的计算机视觉对象检测算法都是在已有的数据中进行训练与检测，若道路上面出现了数据集中未收录的数据样本，想想计算机视觉系统会检测出来什么，或者什么都不会提示，这在自动驾驶系统中是天大的bug。
【论文阅读】Occupancy Networks: Learning 3D Reconstruction in Function Space
weixin_45616624的博客
02-10 9988
论文题目：Occupancy Networks: Learning 3D Reconstruction in Function Space（占据网络：在函数空间内学习三维重建，简称ONet） 论文作者：Lars Mescheder；Michael Oechsle；Michael Niemeyer；Sebastian Nowozin；Andreas Geiger 论文出处：CVPR 2019
通俗解读：Occupancy Network与端到端架构
最新发布
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
03-11 597
传统Occupancy只标记障碍物位置，端到端模型还能预测障碍物运动趋势（比如行人下一秒会不会闯进车道）。像玩《我的世界》游戏，把世界切成小方块，车能“看到”每个方块是否被占据，哪怕是一堆形状乱七八糟的石头。端到端像老司机：眼睛看到路况，手脚直接反应。Occupancy让车“看清世界”，端到端让车“思考如何行动”，两者结合才能实现真正的自动驾驶。：从摄像头/雷达输入到方向盘/刹车输出，全交给一个“大脑”（AI模型）处理，省去中间步骤。：把周围环境切成小方块（体素），每个方块标注“有障碍物”或“没障碍物”。
Deep AutoEncoder-based Lossy Geometry Compression for Point Clouds
weixin_44378835的博客
10-04 750
Deep AutoEncoder-based Lossy Geometry Compression for Point Clouds 摘要 In this paper, we propose a general autoencoder-based architecture for lossy geometry point cloud compression. it is the first autoencoder-based geometry compression codec that directly
Occupancy Networks: Learning 3D Reconstruction in Function Space论文笔记
weixin_45625942的博客
03-09 904
Occupancy Networks: Learning 3D Reconstruction in Function Space论文学习笔记
yolo-mask的损失函数l包含三部分_Occupancy Networks：基于学习函数空间的三维重建表示方法...
weixin_39637151的博客
11-24 433
作者：Longway概述 随着深度神经网络的到来，基于学习的三维重建方法逐渐变得流行。但是和图像不同的是，在3D中没有规范的表示，既能高效地进行计算，又能有效地存储，同时还能表示任意拓扑的高分辨率几何图形。很多先进的基于学习的三维重建方法只能表示粗糙的三维几何，或者限制于一个特定的领域。在这篇论文中，作者提出了占用网格，一种新的基于学习的三维重建方法。占位网络隐式地将三维曲面表示为深度神经网络分类...
Occupancy Networks的训练模型
03-16
CVPR2019: Occupancy Networks: Learning 3D Reconstruction in Function Space onet_img2mesh_3-f786b04a.pt
【CVPR2019】论文完整列表一
热门推荐
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9228
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
Occupancy Network综述
lovely_yoshino的博客
03-08 9350
网格中心感知是移动机器人感知和导航的关键领域。尽管如此，在自动驾驶中，网格中心感知不如目标中心感知更为普遍，因为自动驾驶车辆需要准确地感知高度动态、大规模的室外交通场景，并且以网格为中心的感知的复杂性和计算成本很高。深度学习技术和硬件的快速发展为Grid-Centric 感知的发展提供了新的见解，并使许多实时算法得以部署。当前的工业和学术研究证明了网格中心感知的巨大优势，如全面的细粒度环境表示、对遮挡的更强鲁棒性、更高效的传感器融合和更安全的规划策略。鉴于目前缺乏对这一快速扩展领域的调查，本文对自动驾驶汽车
convolutional_occupancy_networks:[ECCV'20]卷积占用网络
03-19
卷积占用网络 | |||| 该存储库包含本文的实现： 卷积占用网络，， ，和ECCV 2020（聚焦） 如果您发现我们的代码或书面文件有用，请考虑引用 @inproceedings { Peng2020ECCV , author = { Songyou Peng, Michael Niemeyer, Lars Mescheder, Marc Pollefeys, Andreas Geiger } , title = { Convolutional Occupancy Networks } , booktitle = { European Conference on Computer Vision (ECCV) } , year = { 2020 } } 有关问题，评论和报告错误，请联系 。 安装 首先，您必须确保所有相关性都到位。最简单的方法是使用 。 您可以使用创建一个名为co
Occupancy占据网络论文讲解与分析
slamer111的博客
10-20 2019
占据网络的综述
隐式3D形状表示：Occupancy Networks
PLUS_WAVE的博客
05-08 1002
OccNet 的关键思想是，而不是显式地表示。与直接编码形状几何信息不同，OccNet 将形状的表面建模为非线性分类器的。：Occupancy Networks 将 3D 形状表示为非线性分类器函数的决策边界fθ​R3×X→01这里，X​ 表示输入空间（例如，体素网格或点云），函数在给定点的输出表示该点的是否占用（，下图中即红色在内部，蓝色在外部）
解析来了！Occupancy Networks: 基于CNN的占据栅格估计网络
CV_Autobot的博客
10-10 6624
作者|方川 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/570951257点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！标题：Convolutional Occupancy networks作者：Peng, Songyou, ...
机器学习笔记 占用网络简述（Occupancy Networks）
学以致用 知行合一
02-27 691
想象一个 3D 对象，比如一辆汽车，不是由其轮廓绘制的，而是由点的集合描述的。隐式函数帮助我们确定某个点是在该对象的内部还是外部。这种“是”或“否”信息就像拼图一样，每一块都说明它是否适合某个位置。当您根据“是”或“否”的答案将这些碎片放置在正确的位置时，它们会创建完整的形状，这就是隐式函数的工作原理，它们通过确定每个点是否属于该形状来一点一点地构建 3D 形状。占用网络实际上依然是采用了神经网络结构。
知识点汇总！备战秋招Occupancy Network总结
CV_Autobot的博客
08-29 1330
作者| 求求你们别学了 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/646144802点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【占用网络】技术交流群本文只做学术分享，如有侵权，联系删文传统的问题传统的2D感知或者BEV感知的缺点Occupancy优点思想不分动静态，用占据网格能否用分割完全代替目标检测（难，...
15、三维表面重建-Occupancy Networks
小白的博客
08-18 1574
Occupancy Networks
特斯拉自动驾驶中的 OccupancyNetworks & NeRFs
u010165147的博客
10-02 2949
Occupancy Networks去寻找Occupancy Volumes或Occupancy Grid，即三维空间中被物体占据的格点或空间，这个算法其实能很好的规避Corner Case问题 Neural Radiance Fields ，NeRFs 即神经辐射场，这个算法和Occupancy Grid一脉相承，都是在解决如何准确的建模我们所处的三维空间
occupancy networks
06-28
### 回答1： 占用网络是一种用于3D形状建模的深度学习方法。它使用神经网络来预测物体的占用空间，即物体在3D空间中的位置和形状。这种方法可以用于物体识别、姿态估计、形状重建等应用。占用网络的优点是可以处理不规则形状和变形物体，并且可以从单张图像中进行3D重建。 ### 回答2： Occupancy Networks是一种用于3D形状生成和分割的机器学习框架。它与传统的基于网格的方法不同，因为它不需要先对形状进行分割或预处理，并且可以在不同的形状之间共享学习，并且可以生成不同的形状变体。 这个框架的核心是一个神经网络，它可以预测整个三维空间的占据概率函数，指示了该空间中是否存在形状点。 这个网络可以被训练来生成新的3D形状，即使在训练集中没有这些形状的情况下。 Occupancy Networks的优点之一是它可以处理高维空间数据，因为常规的基于网格的方法可以很快消耗内存和处理时间。与传统的3D形状生成方法相比，Occupancy Networks具有优点，因为它可以提供更加准确和一致的形状生成，还可以根据指定的条件生成不同的形状变体。此外，它也具有较强的通用性，可以用于多种形状生成任务，包括3D渲染，建筑设计，医学图像分割和创建虚拟现实环境等领域。在实际应用中，Occupancy Networks具有潜在的应用价值，可以帮助人们更好地掌握和创造3D形状，推进计算机视觉技术的进步和发展。 ### 回答3： Occupancy networks是一种用于三维物体重建和生成的深度学习模型，最初由一组德国和美国研究人员在2019年提出。 Occupancy networks的关键思想是建立一个函数，该函数将三维物体的空间位置映射到其占据体的概率。在训练期间，该函数被用来预测给定三维物体的占据情况，而在生成期间，该函数可以被用来生成新的三维模型。 与传统的三维重建和生成技术相比，Occupancy networks有多个优点。首先，该方法可以处理任意形状和复杂度的三维物体，而不需要特别的先验知识。其次，模型能够从不同的角度观察三维模型，并从这些观察中提取更丰富的表示，更好地反映真实世界中的物体。最后，Occupancy networks能够进行端到端的训练，并且能够在输出时进行随机采样，因此可以生成具有一定随机性的三维物体。 另外，Occupancy networks也有一些挑战和限制。例如，该方法可能需要大量的数据，以克服三维空间的样本稀缺性。此外，Occupancy networks的训练和生成成本很高，需要更强的计算资源。 总而言之，Occupancy networks是一种有前途的三维物体重建和生成模型，它在许多方面的性能都有了很大的进步，但仍需要更多的研究和改进。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值