OmniHuman-1：重新思考一阶段条件化人类动画模型的扩展

端到端人类动画，如音频驱动的说话人生成，在最近几年取得了显著进展。然而，现有方法仍难以扩展为大型通用视频生成模型，限制了它们在实际应用中的潜力。本文提出OmniHuman，一种基于扩散变换器的框架，通过在训练阶段混合运动相关条件来扩展数据。为此，我们引入了两个针对这些混合条件的训练原则，以及相应的模型架构和推理策略。这些设计使OmniHuman能够充分利用数据驱动的运动生成，最终实现高度逼真的人类视频生成。更重要的是，OmniHuman支持各种肖像内容（特写、全身像）,支持说话和唱歌，处理人与物体的互动以及具有挑战性的身体姿势，并适应不同的图像风格。与现有的端到端音频驱动方法相比，OmniHuman不仅生成更真实的视频，而且在输入方面提供了更大的灵活性。它还支持多种驱动模式（音频驱动、视频驱动和组合驱动信号）。项目页面上提供了视频样本。

论文题目：OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models
论文链接：https://arxiv.org/pdf/2502.01061
项目主页：https://omnihuman-lab.github.io/

研究方法

这篇论文提出了OmniHuman，一种基于扩散变换器的混合条件人类视频生成框架，用于解决人类动画数据扩展和模型扩展的问题。具体来说，

1. OmniHuman模型：OmniH