rlczddl的博客

本文对基于深度学习的非参数化三维人体重建算法之一－PIFu做一个简要的介绍。如有错误，欢迎评论指正。

场景均为相机固定人体转动，也就是算法的输入为多视角下的人体RGBD图，核心在于配准算法。无任何先验，将重建问题看作是一个纯纯的配准问题，也可适用于一般物体。扫描多视角无需多说，而在单视角情况下，论文利用了kinect v1的马达采集了多张RGBD图，为的是覆盖更多的人体区域，因此也就多了下面单视角融合一步。单视角融合与分割1）对单个视角下的多帧点云进行刚性ICP配准，然后进行泊松重建得到单视角下的完整人体点云。

所谓动捕标记点，也就是光学标记点，在相机拍摄下具有明显的反光特性，易于从图像中获取其位置，进而通过深度恢复的方法获取其三维坐标。此外，笔者之前已发过的很多基于参数化人体的重建文章，均归类为三维人体重建，其实更细分点，归类为三维人体体型+动作捕捉更合适。图1.所采用的标记点包含标准的47个黄色表示的Vicon标记点，外加20个橙色标记点，共67个标记点（注：白色点是论文中证明冗余的标记点）图2.默认标记点、潜在标记点和模拟标记点示意参数化人体SβθγSβθγβ\betaβθ。

本文对基于IMU传感器+SMPL模板三维人体姿态捕捉方法SIP[1]做一个介绍。由于采用的是传统优化方法同时优化所有帧，此方法无法实时为离线方法。如有错误，欢迎评论指正。

本文以开源项目VIBE[1-2]为例，介绍下采用深度学习和SMPL模板的从图片进行三维人体重建算法的整体流程。如有错误，欢迎评论指正。

本文基于SMPLify[1-2]开源项目，对采用传统优化方法和SMPL模板的从图片进行三维人体重建算法的整体流程做一个介绍。其中关于姿态的高斯先验以及碰撞部分的代码，笔者也不是非常理解，欢迎评论指教。

SMPL（Skinned Multi-Person Linear Model）是一种裸体的、基于顶点的人体三维模型，能够精确地表示人体的不同形状和姿态。SMPL模型含有N6890N=6890N6890个顶点，137761377613776个面片，K24K=24K24232323个关节点+111个根节点），模型参数由ΦT‾WSJPΦTWSJPT‾TR3NR^{3N}R3N，人体平均网格模型WWRN×KR^{N×K}RN×K。

本文简单记录下几篇基于SMPLX模板的完整三维人体动作捕捉算法（即同时包含人脸、人手和身体部位），不涉及具体细节。其中，前三篇为Top-Down, Multi-Stage，中间两篇为Top-Down, One-Stage，最后一篇为All-in-One-Stage Method。如有错误，欢迎评论指正。