VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis

最新推荐文章于 2025-06-06 09:21:15 发布

UnknownBody

最新推荐文章于 2025-06-06 09:21:15 发布

阅读量134

点赞数

分类专栏： Multimodal 文章标签：语言模型人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137048980

版权

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

Multimodal

112 篇文章

订阅专栏

VLOGGER是一种新方法，能根据单个人的图像生成音频驱动的人类视频。它利用扩散模型，包含随机的3D运动模型和增强的文本到图像模型，支持生成可变长度、高质量视频，且不依赖面部检测，适用于各种场景。VLOGGER在新数据集MENTOR上训练，表现优于现有技术，尤其在图像质量、身份保护和时间一致性上。此外，它适用于视频编辑和个性化应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis》的翻译。

摘要

我们提出了VLOGGER，这是一种从一个人的单个输入图像中生成音频驱动的人类视频的方法，它建立在最近生成扩散模型的成功基础上。我们的方法包括1）一个随机的人三维运动扩散模型，以及2）一个新颖的基于扩散的架构，该架构通过空间和时间控制来增强文本到图像模型。这支持生成可变长度的高质量视频，易于通过人脸和身体的高级表示进行控制。与之前的工作相比，我们的方法不需要对每个人进行训练，不依赖于面部检测和裁剪，生成完整的图像（不仅仅是面部或嘴唇），并考虑了广泛的场景（例如可见躯干或不同的主体身份），这些场景对正确合成交流的人类至关重要。我们还策划了MENTOR，这是一个新的、多样化的数据集，具有三维姿势和表情注释，比以前的数据集（800000个身份）大一个数量级，并具有动态手势，我们在此基础上训练和展示我们的主要技术贡献。
VLOGGER在三个公共基准中都优于最先进的方法，考虑到图像质量、身份保护和时间一致性，同时还生成上半身手势。我们分析了VLOGGER在多个多样性指标方面的性能，表明我们的架构选择和使用MENTOR beneõt在规模

了解本专栏