【论文阅读】A Point Set Generation Network for 3D Object Reconstruction from a Single Image

已于 2022-01-21 13:17:34 修改
阅读量6.5k 收藏 31
点赞数 9
CC 4.0 BY-SA版权
分类专栏： 论文阅读笔记 文章标签： 3d 深度学习 计算机视觉
于 2022-01-20 23:14:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45616624/article/details/122574890

论文题目: A Point Set Generation Network for 3D Object Reconstruction from a Single Image (由单张图像进行三维物体重建的点集生成网络, 下文简称PSGN)

论文作者: Haoqiang Fan (清华大学交叉信息研究院); Hao Su, Leonidas Guibas (斯坦福大学计算机科学系)

论文出处: CVPR 2017 (oral)

论文摘要: 解决了由单张图像进行三维重建的问题, 生成了一种直接的输出形式——点云坐标; 设计了新型有效的架构、损失函数和学习范式; 考虑到输入图像的形状真值可能是不确定的, 采用了一个条件形状采样器, 能由一张输入图像预测出多个合理的三维点云. 本文方法不仅能超过目前基于单张图像三维重建的最优方法, 还能做出多种合理预测.

目录

介绍

相关工作

由单张图像进行三维重建

几何物体合成的深度学习

问题抽象

本文方法

点集预测网络

简单版本

双预测分支版本

点集间的距离度量

Chamfer distance (CD)​之间的距离

Earth Mover's distance (EMD)集合大小相等的​之间的距离

形状空间

生成多个合理形状

实验

数据集

由RGB图像重建三维形状(与基于深度学习的三维物体重建最优方法3D-R2N2的对比)

额外信息的补充

多种合理形状预测

网络设计分析

双预测分支对重建的作用

距离度量分析(损失函数的选择)

对真实世界数据的应用结果

介绍

目前面临的表示的问题: 目前信号领域用于判别、生成学习的现有深度网络结构适合如图像、音频、视频这样规律的采样数据, 而常见的如二维网格、点云这样的三维几何表示并不是规则的结构, 所以大多数现有工作所采用的如体积网格、几何体的二维视图集合这样的常规表示会导致采样分辨率和效率之间难以权衡, 包含了量化伪影, 掩盖三维形状在几何变换下的自然不变性.

点云表示的特点: 和使用几何基元的CAD模型/简单网格相比, 点云虽然在表示基础连续三维几何体时没那么有效, 但点云是一种简单、统一的结构, 其优势在于: ①更易于学习(无需编码多个基元/组合连接模式); ②当几何变换变形时点云能简单调整(连接性无需更新)

通过推断由输入图像和由此推断出的视点位置所确定的三维点的位置, 由单张图像能够重建出整个物体的三维点云, 每个点被可视化为一个小球, 沿方位角0°和90°两个视点的重建结果

非传统的网络输出的挑战: 由于相同的几何形状在相同的近似程度下可能接受不同的点云表示, 因此需要考虑如何在训练时度量损失. 本文使用基于EMD的解决方案. 为了解决从单张图像恢复出三维结构的不良问题, 网络需要去估计图像中几何体可见部分的深度, 对几何体的不可见部分进行假定, 并评估不同假定的可信度. 由于某些视角中固有的物体不确定性, 一张二维图像会产生多个同样好的三维重建, 因此不同于真值唯一的经典回归/分类问题, 损失的定义尤为重要.

本文贡献: 本文最终采用一个条件采样器, 从给定的一张输入图像的真值空间中选择可信点云. ①用深度学习技术解决点集生成问题; ②在单张图像三维重建任务上达到最优; ③系统地探讨网络的架构、损失函数设计问题; ④讨论解决单张图像三维重建中真值不确定的问题

相关工作

由单张图像进行三维重建

现存问题: 不能稳健地由单张图像重建出完整的高质量形状, 必须引入先验

对形状/环境照明条件作假设——

①B. K. Horn. Obtaining shape from shading information. In Shape from shading, pages 123–171. MIT press, 1989.

②J. Aloimonos. Shape from texture. Biological cybernetics, 58(5):345–360, 1988.

开创了将基于学习的方法用于简单几何结构——

①D. Hoiem, A. A. Efros, and M. Hebert. Automatic photo pop-up. ACM transactions on graphics (TOG), 24(3):577–584, 2005.

②A. Saxena, M. Sun, and A. Y. Ng. Make3d: Learning 3d scene structure from a single still image. IEEE transactions on pattern analysis and machine intelligence, 31(5):824– 840, 2009.

图像集合当中的粗略对应关系也可以用于三维形状估计——

①A. Kar, S. Tulsiani, J. Carreira, and J. Malik. Category-specific object reconstruction from a single image. In CVPR, 2015.

②J. Carreira, S. Vicente, L. Agapito, and J. Batista. Lifting object detection datasets into 3d. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(7):1342– 1355, 2016.

建立RGBD数据集用于训练基于学习的系统——

①D. Eigen, C. Puhrsch, and R. Fergus. Depth map prediction from a single image using a multi-scale deep network. In Advances in neural information processing systems, pages 2366–2374, 2014.

②D. F. Fouhey, A. Gupta, and M. Hebert. Data-driven 3D primitives for single image understanding. In ICCV, 2013.

提出将已有的形状变形重组成新模型来适应观察到的图像, 但这依赖于高质量的图像-形状对应——

①H. Su, Q. Huang, N. J. Mitra, Y. Li, and L. Guibas. Estimating image depth using shape collections. ACM Transactions on Graphics (TOG), 33(4):37, 2014.

②Q. Huang, H. Wang, and V. Koltun. Single-view reconstruction via joint analysis of image and shape collections. ACM Transactions on Graphics (TOG), 34(4):87, 2015.

与本文最相关的工作C. B. Choy, D. Xu, J

最低0.47元/天 解锁文章

200万优质内容无限畅学
从点云中重建三维物体实例RfD-Net
jacke121的专栏
05-10 3024
基于点云的场景理解是目前特别具有挑战性的任务，本文作者提出了一种从三维场景点云中重建高精度物体网格的学习框架RfD-Net，把重建问题转变为“先检测，再重建”。 论文已被CVPR 2021收录。 论文链接： https://arxiv.org/abs/2011.14744 代码链接： https://github.com/yinyunie/RfDNet 项目主页： https://yinyunie.github.io/RfDNet-Page/ 一、引言 基于点云的场景理解是目前
【论文阅读】Occupancy Networks: Learning 3D Reconstruction in Function Space
weixin_45616624的博客
02-10 1万+
论文题目：Occupancy Networks: Learning 3D Reconstruction in Function Space（占据网络：在函数空间内学习三维重建，简称ONet） 论文作者：Lars Mescheder；Michael Oechsle；Michael Niemeyer；Sebastian Nowozin；Andreas Geiger 论文出处：CVPR 2019
点云论文阅读（一）
北川大大的博客
04-13 2724
A Point Set Generation Network for 3D Object Reconstruction from a Single Image 先写一下读书报告吧计算机视觉读书报告1.   研究背景目前，所有在3D领域中成功的深度学习的卷积结构，都面临着一个根本性问题，即图像的二义性。单幅图像对于物体的真实情况总不能全方位的面描述，因而在对于单幅图像重构时，存在着图像的二义性。而二...
《A Point Set Generation Network for 3D Object Reconstruction from a Single Image》论文笔记_2D图像生成3D点云
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
06-02 1945
摘要 通过深度神经网络生成3D数据已在研究界引起了越来越多的关注。 现存的大多数作品都采用常规表示法，例如体积网格或图像收集； 但是，这些表示法掩盖了3D形状在几何变换下的自然不变性，并且还遭受许多其他问题的困扰。 在本文中，我们解决了从单个图像进行3D重建的问题，生成了输出的直接形式–点云坐标。 伴随这个问题出现了一个独特而有趣的问题，即输入图像的ground-truth可能是模棱两可的。 在这种非常规的输出形式以及groundtruth固有的歧义的驱动下，我们设计了新颖有效的体系结构，损失函数和学习范
告别粗糙重建！只用一张图，就能精细还原 3D 模型？
最新发布
3D视觉工坊
06-27 79
在本文中，我们提出了一种新颖的单图像三维重建方法，称为“从单张图像中挖掘有效语义线索进行三维重建”（MESC - 3D），该方法可以主动从纠缠的特征中挖掘有效语义线索。现有单图像 3D 重建方法多聚焦于从图像提取语义信息并简单与 3D 点云拼接，未深入挖掘拼接后的语义，导致重建性能受影响，且单视图视觉信息有限，遮挡区域重建几何形状粗糙。：在 ShapeNet 数据集上，MESC - 3D 能成功恢复单图像中的遮挡区域，在有精细细节的类别中表现出色，且前景 - 背景识别准确，语义信息利用有效，结果一致性好。
A Point Set Generation Network for 3D Object Reconstruction from a Single Image
qq_50267787的博客
05-19 995
摘要 利用深度神经网络生成三维数据已经引起了学术界越来越多的关注。大多数现存的作品诉诸于规则的表示，如体积网格或图像集合;然而，这些表示模糊了三维形状在几何变换下的自然不变性，并且还存在许多其他问题。在本文中，我们解决了从单幅图像进行三维重建的问题，生成了一种直接形式的输出点云坐标。伴随着这个问题出现了一个独特而有趣的问题，即输入图像的真值形状可能是模糊的。在这种非正统的输出形式和基础真理固有的模糊性的驱动下，我们设计了新颖有效的架构、损失函数和学习范式。我们的最终解决方案是一个条件形状采样器，能够从输入
【3D计算机视觉】由单张2D图像生成3D点云的深度网络
热门推荐
小执着的博客
09-25 1万+
《A Point Set Generation Network for 3D Object Reconstruction from a Single Image》论文笔记 1. 当前 3D视觉的现状 目前3D视觉领域当我们尝试复现某些深度卷积体系结构时，我们常常面临着一个充满代表性的问题——现有的用于信号领域中的判别性和生成性学习的深度网络结构非常适合于规律的采样数据，例如图像，音频或视频；然而，...
PointSetGeneration- 点云生成论文阅读笔记
qq_42563807的博客
12-07 860
A Point Set Generation Network for 3D Object Reconstruction from a Single Image （很多图片与公式上传略麻烦，详细笔记见自己的KeYan report） 文章链接：https://arxiv.org/abs/1612.00603 源码链接：https://github.com/fanhqme/PointSetGeneration 通过深度神经网络生成3D数据已在研究界引起了越来越多的关注。 PointSetGeneration网络
【图像三维重建】TripoSR: Fast 3D Object Reconstruction from a Single Image
Arachis_X的博客
03-09 660
论文地址 代码地址 论文分享：《TripoSR: Fast 3D Object Reconstruction from a Single Image》
论文阅读 TripoSR: Fast 3D Object Reconstruction from a Single Image 单张图片快速完成3D重建
出门吃三碗饭的博客
03-18 2598
TripoSR，这是一种利用 Transformer 架构进行快速前馈 3D 生成的 3D 重建模型，可在 0.5 秒内从单个图像生成 3D 网格。TripoSR 基于 LRM 网络架构，集成了数据处理、模型设计和训练技术方面的重大改进。对公共数据集的评估表明，与其他开源替代品相比，TripoSR 在数量和质量上都表现出卓越的性能。TripoSR 在 MIT 许可下发布，旨在为研究人员、开发人员和具有 3D 生成人工智能最新进展的创意。
3D重建
AI智力2岁半的博客
04-24 1762
3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction(2 Apr 2016) Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adverarial Modeling(NIPS 2016) ...
Make3D: Learning 3D Scene Structure from a Single Still Image
05-02
We consider the problem of estimating detailed 3D structure from a single still image of an unstructured environment. Our goal is to create 3D models that are both quantitatively accurate as well as visually pleasing. For each small homogeneous patch in the image, we use a Markov Random Field (MRF) to infer a set of “plane parameters” that capture both the 3D location and 3D orientation of the patch. The MRF, trained via supervised learning, models both image depth cues as well as the relationships between different parts of the image. Other than assuming that the environment is made up of a number of small planes, our model makes no explicit assumptions about the structure of the scene; this enables the algorithm to capture much more detailed 3D structure than does prior art and also give a much richer experience in the 3D flythroughs created using image-based rendering, even for scenes with significant nonvertical structure. Using this approach, we have created qualitatively correct 3D models for 64.9 percent of 588 images downloaded from the Internet. We have also extended our model to produce large-scale 3D models from a few images.
Make3D：从单个静止图像学习3D场景结构（论文2007）
desian
10-23 2785
Make3D Learning 3D Scene Structure from aSingle Still Image（译文） 下载原文：https://cn.bing.com/academic/profile?id=45505ee803dc50067cac97db19e57b67&encoded=0&v=paper_preview&mkt=zh-cn 欢迎在下面留言交流。...
make3d: learning 3d scene structure from a single still image完全解读
jideljd_2010的专栏
01-20 4681
综述 ———————————————————————————————— 这篇文章的目的呢，是为了解决从单幅图片估计其详细的3d结构。它以superpixel为单位，在学习的过程中，同时考虑深度信息和不同superpixel之间的关系，以得到一个好的模型。
3-D Reconstruction from a Single Still Image-学习《1》
幸福快乐小可乐的专栏
09-07 1303
这个是自己感兴趣的领域之一，之前就已经了解过，但是没有坚持下去，所以这次只是重新拾起，而且要坚持下去，然后做出来。 这个是NG的课上了解到的一个项目，感觉很有趣。 主页http://ai.stanford.edu/~asaxena/reconstruction3d/。里面有很多资料。现在开始学习。
【论文笔记】(2019CVPR)3D Hand Shape and Pose Estimation from a Single RGB Image
Medlar Tea
11-06 3204
1.导论 1.1算法的输入和输出 输入：一张RGB图片（in test，还需知道相机的内参、手掌的boudingbox，用来将uvd坐标转换为xyz坐标）；输出：Mesh手掌模型（由图结构节点所定义的）、3D Hand Pose 1.2作者的逻辑 作者认为，从single RGB中恢复3D mesh有以下挑战： “3D hand mesh的众多vertices代表着高维度的输出生成”，通常...
单幅图像场景理解，论文解读
何雷
03-10 4542
Karsch K, Liu C, Kang S B. Depth Transfer: Depth Extraction from Video Using Non-Parametric Sampling[J]. IEEE Transactions on Pattern Analysis \& Machine Intelligence, 2014 (11): 2144-2158. 已知RGB-D数据
【论文精读】使用深度卷积神经场从单目图像学习深度
星辰不问
06-01 1975
【论文精读】使用深度卷积神经场从单目图像学习深度
【手写学习笔记-综述部分Ⅴ】点云补全评估参数CD、EMD、F-SCORE、DCD等
weixin_51108479的博客
12-16 3843
对于三维点云补全，倒角距离(CD)和地球移动距离(EMD)是最常用的性能标准。CD试图找到两组点之间的最小距离，而EMD评估点云的重建质量。以下介绍点云补全常用的几个性能标准。参考学习框架来自于综述《Comprehensive Review of Deep Learning-Based 3D Point Cloud Completion Processing and Analysis》
Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach主要内容
07-15
《Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach》这篇论文的主要内容是介绍了一种基于单个图像的准确三维人脸重建方法，其采用了一种全面的方法来捕捉人脸的几何形状和纹理信息。 论文的作者 Aaron S. Jackson, Adrian Bulat, Vasileios Argyriou, Georgios Tzimiropoulos 提出了一个由两个主要组件组成的框架：3DMM（3D Morphable Model）回归器和姿态估计器。 首先，他们使用3DMM回归器来估计人脸的形状参数和纹理参数。这个回归器通过将人脸图像映射到3DMM参数空间，利用深度卷积神经网络（CNN）来预测人脸的三维形状和纹理参数。 然后，他们提出了一种姿态估计器来估计人脸的姿态参数。这个姿态估计器使用CNN来预测人脸的旋转和平移参数，以校正人脸的姿态。 最后，通过将形状参数、纹理参数和姿态参数结合起来，他们可以生成准确的三维人脸重建结果。 该方法在多个数据集上进行了实验评估，结果表明，与其他基准方法相比，该方法能够产生更准确和逼真的三维人脸重建结果。此外，该方法还具有一定的鲁棒性，对于具有不同姿态和光照条件的人脸图像也能取得良好的效果。 总的来说，《Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach》这篇论文提出了一种综合性的方法，通过结合形状参数、纹理参数和姿态参数，实现了准确的三维人脸重建。这个方法在单个图像上能够生成高质量的三维人脸模型，对于人脸分析、虚拟现实等应用具有重要意义。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值