清库存系列,拖了好久啊。
1. 概要
题目:Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion,CVPR 2020
论文:https://virtualhumans.mpi-inf.mpg.de/papers/chibane20ifnet/chibane20ifnet.pdf
代码:https://virtualhumans.mpiinf.mpg.de/ifnets/.
2. 动机
现有重构刚性物体都受限于两点:
- 不能够代表复杂的物体,例如重构经常失去手臂或腿;
- 他们不能够保留在输入数据中所呈现的细节。
可能受限的原因:
- 网络学习了在xyz坐标上过于强大的先验破坏了清晰度的不变形;
- 形状编码向量缺乏三位编码,导致编码看起来更像是对形状原型的分类,而不是连续回归。因此,当前方法受限于上述2点;
本工作就是基于上面的考虑,提出来隐特征网络,在5个维度进行了改进。
希望达到的效果:
3 算法
本质上其实是decode的设计,因为encoder就是基础的特征提取部分;而decoder其实就是在预测点是在这个物体里面还是外面,那么两者的边界就是我们所需要的物体表面。最终是要通过其他算法来复现连续曲面的。因为输出的离散值:0或1。
3.1 背景:隐表面学习
定义occupancy公式。使用隐形表达 z z z来编码3D形状。则连续的形状表达可以荣国学习神经函数来获得:
表面通过[0,1]设定是否属于物体内或外。这样的话表面就是决策边缘。连续表达可以不受像素限制。
后面可以通过构建mesh中marching cubes算法来表达物体限制,但是有两个限制:
- 不能够表达复杂物体,例如 有关节的人物等。
- 没能保留输入数据的细节。
3.2 隐形特征网络
形状编码