AI论文探讨室·A+·第7期 Multi-View Silhouette and Depth Decomposition for High Resolution 3D Object

《Multi-View Silhouette and Depth Decomposition for High Resolution 3D Object Representation》

论文链接

项目链接

主要解决的问题：深度生成形状模型缩放到高分辨率

主要描述

       先前的做法出发点是从对象的行为来提取动机，本文论则提出一张新颖的方法，在体素空间通过网络实现6个直角深度投影得到超分辨率，来实现3D目标进行快速上采样。这种方法比较有效缩放到高分辨率目标上比直接在3D上进行处理。本论文分解2D深度超分辨的问题到剪影和深度预测来捕获结构和较好的细节。该方法比较容易生成锐边比独立的网络。在ShapeNet RGB图像数据集上，本论文提出的方法在3D目标重建实现较好的结果，并且长远证明了第一个有效的3D超分方法。 

系统架构

        3D目标重建和超分辨实现框架：输入为一张RGB图像来进行低分率重建或者一个低分率目标来做3D超分辨。使用ODM进行上采样来得到最终的预测。

       多视点分解框架MVD：每一个ODM预测任务能够被分解到一个剪影和详细预测。通过只编码残缺的细节来简化预测任务，mask是通过真值的剪影。

实验结果

       从图像可以看出，输入为低分辨率图像，经过MVD网络处理后，3D目标的分辨率得到明显的提高，细节也相对变得比较细腻。

指标对比

使用当前比较先进的网络跑出的结果，可以明显看到哦MVD网络的F1得到都是相对比较高的。

主要工作

（1）提出多视点分解框架来学习去展示3D目标；

（2）提出ODM上采样算法，可以是目标的分辨率达到，得到了16倍的提升；

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料