AI论文探讨室·A+·第102期-Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the Wild

本文介绍Vid2Actor方法，可从自然环境视频重建人的动画模型，无需显性3D网格重建，通过深度网络训练输入视频合成新颖姿态/视角。讲解了系统流程图，展示实验结果。指出模型质量依赖训练数据，引入感知损失减轻限制，未来将研究光照影响和复杂形变建模。

Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the Wild
从自然环境视频合成自由视点动画人物
摘要
给定一个含有的人的自然环境视频，作者能够在视频中重建出一个人的动画模型。重建出的模型在不需要显性3D网格重建，只通过学习就能控制渲染任意姿态到任意相机视角。本文的核心是一个体3D人表示重建用一个深度网络训练输入视频，能够合成新颖的姿态/视角。本文的方法是优于基于GAN的图像到图像转换，因为它能通过图像内在的3D表示来合成任意姿态，与此同时还它不像基于Mesh学习方法需要预定义模型或者真值网络来进行训练。实验证明了设计选择，并在合成数据和不同人群进行无约束活动的真实视频上生成结果（例如：跳舞、打网球）。最后，作者在学习模型上证明运动重定位，子弹时间渲染。
在这里插入图片描述
系统流程图讲解
作者开始使用一个常量向量z通过神经网络来制造一个规范体积和运动权重体积。然后，与运动基相结合，从预定义的标准姿态和目标姿态导出，作者显性形变规范体积到一个扭曲体积和导出一个Mask体积，它被用来去Mask扭曲体积来得到一个目标体积。最后，作者渲染目标体积，然后优化渲染图像和真实图像的损失，优化网络参数来得到最后的规范和运动权重体。