【2018CVPR】实时单目6D物体姿态估计

本文同步于微信公众号：3D视觉前沿，欢迎大家关注。

背景

该论文发表于2018年CVPR，解决的问题是：给定单幅RGB图像，估计图像中包含目标物体的6DoF位姿；6DoF位姿包括了3维位置和3维空间朝向；传统方法包括以下两种：基于RGB图像的方法，或者使用edge特征，但对复杂背景敏感，或者使用feature points，但无法处理弱纹理或者无纹理情况；基于RGB-D的方法，依赖传感器，本身有一定限制。近年来深度学习的方法，可以给6DoF位姿估计，带来极大的效果提升。

算法概述

该论文设计了一个端到端可训练的网络，实时预测物体的6DoF位姿；受到2D物体检测算法YOLO的启发设计CNN网络，预测物体3D包围盒顶点的2D投影点；YOLO只预测出2D包围盒，而该论文预测更多的2D投影点；之后给定这些2D投影点对应的3D点，可以通过PnP算法估计物体的6DoF位姿。

算法框架

首先将每个物体的3D模型用9个控制点表示，分别是外切包围盒的8个顶点以及3D模型的重心，这样训练时只需要知道物体的3D包围盒，而不需要确切的网格模型以及附带的纹理图；算法输入为一个单幅完整的彩色图像，如图1(b)；使用图1(a)的卷积网络将图像划分成SxS的Cell，如图1$(c)$；网络的输出结果图1(d)用SxSxD的张量表示，如图1(e)，D的维度为(9x2+C+1)，分别包含了9个2D投影点坐标$(x_i,y_i)$，C个类别概率，以及一个置信值。如果某一个Cell的置信值较低，则删除该Cell。

图1 算法框架

置信函数设计：

依据图像空间的2D欧氏距离，计算预测的2D投影点和真值点的平均偏差。

令$D_T(x)$代表估计的2D位置和真值位置之间的欧氏距离，则置信函数$c(x)$和$D_{}$