Unsupervised Learning of Shape and Pose with Differentiable Point Clouds && NIPS 2018 论文笔记

第一作者：Eldar Insafutdinov
研究机构：Max Planck Institute for Informatics, Intel Labs

总结

• 重投影误差：该方法不需要准确的地面真实相机姿势，因此可以应用于从真实数据中学习
• 使用了位姿估计器集合来解决位姿歧义问题

论文解决的问题

解决了从一组未标记类别的特定图像中学习精确的三维形状和相机姿态的问题。

论文训练了一个卷积网络，通过最小化重投影误差来预测单个图像的形状和姿态：给定一个物体的多个视图，预测的形状到预测相机姿态的投影应该与提供的视图相匹配。

选择点云表示相比于体素更加精确，允许计算效率高的处理，可以生成高质量的形状模型

论文克服了三个问题：

1. 估计形状和姿势是一个鸡和蛋的问题：没有一个好的形状估计就不可能学习准确的姿势，反之亦然，准确的姿态估计是学习形状的必要条件。这个问题通过形状和姿势预测器的联合优化解决
2. 位姿估计容易出现由模糊性引起的局部极小值：一个目标可能从两个角度看起来很相似，如果网络在所有情况下都收敛到只预测其中一个角度，那么它将无法学习预测另一个角度。这个问题会导致姿态估计中的严重误差。为了解决这个问题，作者训练了不同的姿态预测器集合并将其提炼为单个学生模型（student model）
3. 在没有明确的3D监督的情况下学习点云信息。论文提出了一个可微投影算子，该算子在给定点集和相机姿态的情况下，生成一个二维投影（轮廓、彩色图像或深度图），作者将该算子称为“可微点云”

现有方法的不足 & 本文贡献

现有方法需要相机位姿的精确数据作为label，且预测形状由于基于voxel，其分辨率非常低。

本文提出了一种不需要标签数据、利用点云表示的方法来学习仅给出二维投影的三维物体的姿态和形状。

实验表明，点云在效率和准确性方面优于 voxel-based 的表示。

相比于使用真值训练的相机位姿估计网络，性能只有很小的下降。

论文方法介绍

直观上，模型要求对于同一对象的所有成对的视图，预测的点云的投影必须与提供的真值视图相匹配。

流程概述：

输入数据为同一个目标的多个单视图，包含K个目标的数据集:
D=∪i=1k{ <Xji,pji>}j=1miXji为彩色图，pji为同一视角下的某种投影（如轮廓或深度图等），mi为视角数目 D = \cup _{i=1}^k\{ <X_j^i,p_j^i>\}_{j=1}^{m_i}\\X_j^i 为彩色图，p_j^i为同一视角下的某种投影（如轮廓或深度图等），m_i 为视角数目 D=∪i=1k​{ <Xji​,pji​>}j=1mi​​Xji​为彩色图，pji​为同一视角下的某种投影（如轮廓或深度图等），mi​为视角数目
假定有两个输入X1,X2，分别使用它们来对形状（点云形式）和相机位姿进行预测：
$$\begin{gathered} 形状：\widehat{P_1}=F_P(x_1,{\theta }_P) \\ 相机位姿：\widehat{c_2}=F_c(x_2,{\theta }_c) \\ 其中F_P，F_c为共享大多数参数的卷积网络，通过固定长度的全连接层输出预测 \end{gathered}$$
得到两个预测后就可以投影出预测的视图：
$$\begin{gathered} {\hat{p}}_{1,2}=\pi (\widehat{P_1},\widehat{c_2}) \\ \pi 表示可微投影算子，即可微点云 \end{gathered}$$
最后使用预测视图与真值之间的差别构造损失函数：
L(θP,θc)=∑i=1N∑j1,j2=1mi∣∣p^j1,j2i−pj2i∣∣2 L(θ_P,θ_c) =\sum_{i=1}^N\sum^{m_i}_{j_1,j_2=1}||\hat p^i_{j_1,j_2}−p^i_{j_2}||^2 L(θP​,θc​)=