论文笔记：Discovery of Latent 3D Keypoints via End-to-end Ceometric Reasoning

这是在NeurIPS2018上的一篇文章，提出了一种检测RGB图像中3D关键点的category-specific方法。
针对某一类别，所提出的网络可以学习得到一组最优的3D隐藏关键点，以及对应的检测器。通过学习得到隐藏关键点，可以克服手工标注关键点工作量大和难定义的问题(expensive and ill-defined)。

网络的输入是同一物体的在不同视角下仿真得到的一对图像，以及目标的二值掩膜$b(u,v)$，输入为两个部分，每个关键点的概率图$g_i(u,v)$和深度图$d_i(u,v)$。第$i$个关键点在图像中的位置和深度值分别为：

$$\begin{gathered} [u_i,v_i{]}^T=\sum _{u,v}[u\cdot g_i(u,v),v\cdot g_i(u,v){]}^T \\ {z}_i=\sum _{u,v}{d}_i(u,v)g_i(u,v) \end{gathered}$$

网络的损失函数分为四个部分：网络的损失函数分为五个部分：

1. multi-view consistency loss，描述了在相机位姿变换真值下，左右输入图像中关键点集合的位置差异，用于保证在不同视角下可以稳定地跟踪同一区域，但是该损失函数会导致所有关键点向同一位置聚集；
2. relative pose estimation loss，是角度的惩罚项，即输入图像对之间相机相对位姿的角度真值与由所检测关键点估计得到的相对角度的差值。角度的估计需要用到每个关键点的深度估计值，由SVD分解得到，该项损失有助于生成有意义且自然的3D隐藏关键点集合；
3. separation loss，描述了关键点与3D坐标的一一对应关系，即没有两个关键点对应相同的3D坐标；
4. silhouette consistency， 使关键点位于目标的轮廓内部，计算该损失用到了目标的掩膜$b(u,v)$。该损失只在training时起作用，在test时值为0，因此$b(u,v)$只在training时用到
5. variance loss，描述了概率图的方差，最小化该损失会使概率图多峰(peaky)，在目标轮廓为非凸时使关键点的均值位于轮廓内。

$$L_{con}=\frac{1}{2N}\sum _{i=1}^N{\Vert [u_i,v_i,u_i^{\prime },v_i^{\prime }{]}^T-[{\hat{u}}_i,{\hat{v}}_i,{\hat{u}}_i^{\prime },{\hat{v}}_i^{\prime }{]}^T\Vert }^2$$

其中$[{\hat{u}}_i,{\hat{v}}_i{]}^T$是右图中关键点坐标向左图的投影，$[{\hat{u}}_i^{\prime },{\hat{v}}_i^{\prime }{]}^T$是左图中关键点坐标向右图的投影。

$$L_{pose}=2\arcsin \frac{1}{2\sqrt{2}}{\Vert \hat{R}-R\Vert }_F$$

其中$R$为相对位姿角度量真值，$\hat{R}$为相对位姿角度量估值。

$$L_{sep}=\frac{1}{N^2}\sum _{i=1}^N\sum _{j̸=i}^N\max \left(0,{\delta }^2-{\Vert X_i-X_j\Vert }^2\right)$$

其中$X_i$为第$i$个关键点对应的3D坐标。

$$L_{obj}=-\frac{1}{N}\sum _{i=1}^N\log \sum _{u,v}b(u,v)g_i(u,v)$$

$$L_{var}=\frac{1}{N}\sum _{i=1}^N\sum _{u,v}g(u,v){\Vert [u,v{]}^T-[u_i,v_i{]}^T\Vert }^2$$

网络的输入是一对128x128x4的图像，关键点的数量是一个超参数，demo中设置为10。论文中进行了多组实验，比较了手工标注关键点等方法，结论是自动寻找隐藏关键点比较好。论文的代码在github上公开了，作者是google，代码在tensorflow中research中，写的还是比较好的，可以学习学习。

论文和demo中提供了三种物体，飞机、椅子和汽车。但是训练图像与测试图像都是仿真得到的。github上还提供了一个对汽车种类预训练好的模型，以及8幅汽车方针图像。使用预训练好的模型以及提供了测试图像可以得到论文中的结果。

但是我从网上下载了几幅真实图像，得不到期望的结果，说明这个模型对真实图像的适应性是比较差的。其次，我在自己电脑上跑了训练模型，论文中是在8块GPU上跑的，batchsize是8x32，我自己只有一块1070，只能用32大小的batch，测试了三种模型，分别采用了默认学习率0.001以及0.0005，在测试集上没有一次达到论文中的效果。