论文解读：Vid2Actor从自然环境视频合成自由视点动画人物-优快云博客

Vid2Actor是一种创新技术，能够从自然环境视频中重建并自由动画化人物模型，无需显式的3D网格重建。该方法通过深度学习控制渲染任意姿态和视角，优于基于GAN的图像到图像转换，且不依赖预定义模型或真值网络。虽然依赖训练数据的视图和姿态多样性，但通过感知损失缓解了这一限制。实验展示了在合成和真实视频上的应用，如跳舞和打网球，并实现了运动重定位和子弹时间渲染。未来研究将探索光照影响和更复杂的形变建模。

Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the Wild

从自然环境视频合成自由视点动画人物

摘要

给定一个含有的人的自然环境视频，作者能够在视频中重建出一个人的动画模型。重建出的模型在不需要显性3D网格重建，只通过学习就能控制渲染任意姿态到任意相机视角。本文的核心是一个体3D人表示重建用一个深度网络训练输入视频，能够合成新颖的姿态/视角。本文的方法是优于基于GAN的图像到图像转换，因为它能通过图像内在的3D表示来合成任意姿态，与此同时还它不像基于Mesh学习方法需要预定义模型或者真值网络来进行训练。实验证明了设计选择，并在合成数据和不同人群进行无约束活动的真实视频上生成结果（例如：跳舞、打网球）。最后，作者在学习模型上证明运动重定位，子弹时间渲染。

系统流程图讲解

作者开始使用一个常量向量z通过神经网络来制造一个规范体积和运动权重体积。然后，与运动基相结合，从预定义的标准姿态和目标姿态导出，作者显性形变规范体积到一个扭曲体积和导出一个Mask体积，它被用来去Mask扭曲体积来得到一个目标体积。最后，作者渲染目标体积，然后优化渲染图像和真实图像的损失，优化网络参数来得到最后的规范和运动权重体。