VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis

本文是LLM系列文章，针对《VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis》的翻译。

摘要

我们提出了VLOGGER，这是一种从一个人的单个输入图像中生成音频驱动的人类视频的方法，它建立在最近生成扩散模型的成功基础上。我们的方法包括1）一个随机的人三维运动扩散模型，以及2）一个新颖的基于扩散的架构，该架构通过空间和时间控制来增强文本到图像模型。这支持生成可变长度的高质量视频，易于通过人脸和身体的高级表示进行控制。与之前的工作相比，我们的方法不需要对每个人进行训练，不依赖于面部检测和裁剪，生成完整的图像（不仅仅是面部或嘴唇），并考虑了广泛的场景（例如可见躯干或不同的主体身份），这些场景对正确合成交流的人类至关重要。我们还策划了MENTOR，这是一个新的、多样化的数据集，具有三维姿势和表情注释，比以前的数据集（800000个身份）大一个数量级，并具有动态手势，我们在此基础上训练和展示我们的主要技术贡献。
VLOGGER在三个公共基准中都优于最先进的方法，考虑到图像质量、身份保护和时间一致性，同时还生成上半身手势。我们分析了VLOGGER在多个多样性指标方面的性能，表明我们的架构选择和使用MENTOR beneõt在规模上训练了一个公平和无偏的模型。最后，我们展示了在视频编辑和个性化方面的应用。

1 引言

2 相关工作

3 方法

4 实验

5 结论

我们提出了VLOGGER，这是一种用于从单个输入图像中合成人脸和身体的人类视频的方法，由音频或文本进行调节。VLOGGER是基于控制的扩散模型的时间