Learning to Estimate 3D Human Pose and Shape from a Single Color Image

最新推荐文章于 2022-11-21 16:32:02 发布

原创最新推荐文章于 2022-11-21 16:32:02 发布 · 633 阅读

0 ·

CC 4.0 BY-SA版权

human shape 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种在CVPR2018上提出的方法，该方法可以从单张图像估计出人的三维形状。首先通过估计heatmap和轮廓，再进一步估计出表示形状和姿势的参数，最后输入SMPL模型得到3D形状。这种方法可以进行端到端的训练，即使没有3D标签。

CVPR2018

任务：从单张图估计人的3D形状(3d shape)。

方法：

先估计出heatmap和Silhouette，再分别估计出代表shape和pose的参数 $\Beta$ $\beta$ 和 $\Theta$ 。输入到SMPL模型中，得到3D shape。

需要注意, 估计 $\Beta$ $\beta$ 和 $\Theta$ 的这一步是可以离线训练的，也就是认为选择 $\Beta$ $\beta$ 和 $\Theta$ , 得到3D shape, 将其投影到各个方向，得到heatmap和silhouette，这样输入和输出都有了。

后面的Render是opendr库执行的，将3D shape投影到2d，在heatmap和silhouette上做监督，因此即使没有3D标签，该模型也能进行end-to-end训练。

补充1：

SMPL是一种概率人体形状模型，它的特点是用很少的参数能表示human pose and shape。这样的小空间表示给CNN学习带来好处(否则直接学习shape的6890个点3d坐标很困难)。具体的，它把整个mesh分为shape和pose两个方面来表示，其中shape用 $\beta$ 表示，包含10个参数， pose用 $\Theta$ 表示，包含72个参数(23*3+1*3, 23代表23个关节点，每个关节点3个旋转角度， 1代表全局旋转)。

补充2：

评价标准： human shape的评价一般在UP-3D和SURREAL数据集上进行，前者是在MPII, LSP等2D数据集上采集，然后利用SMPLify生成shape标签。SURREAL数据集的图片是合成的，但是标签信息十分准确。这二者的评价指标都是the mean per-vertex error。
此外也经常在h36m上比较关节点的重建误差，佐证shape重建的精度。