AIGCer的博客

本文提出OmniHuman-1.5，一种基于认知科学双系统理论（系统1反应性思维与系统2审慎思维）的视频虚拟人生成新范式。通过结合多模态大语言模型（MLLM）的高层语义推理（系统2）与多模态Diffusion Transformer（MMDiT）的低层信号融合（系统1），模型实现了动作的物理合理性与语义一致性。创新点包括：1）采用MLLM智能体生成结构化行为计划；2）设计对称多模态分支与伪最后一帧策略解决模态冲突。

阿里等发布FantasyTalking，通过单张照片+音频，实现与输入音频对应的、包含背景和上下文对象（而不仅限于肖像本身）的连贯全局运动，并能够构建精确对齐的唇部运动视频。