u011150735的博客

翻译 JoyGen—说话人脸视频编辑与生成

近年来，尽管说话人脸视频生成技术取得了显著进展，但在音频驱动的唇部动作生成中，精确的音频与嘴型同步以及高质量的视觉效果仍然是亟待解决的关键问题。为此，论文提出了一种新颖的两阶段框架——JoyGen，用于生成高质量的说话人脸视频。该框架包括音频驱动的唇部动作生成和视觉外观合成两个主要步骤。在第一阶段，JoyGen 利用3D重建模型和音频驱动的动作生成模型，分别预测基于3D可变形模型（3DMM）的身份系数和表情系数。