AIGCer的博客

不一致的学习信号：现有的大多数强制策略在传播样本级表示时，扩散状态不匹配，导致学习信号不一致和收敛不稳定。推理效率限制：历史表示无限制增长且缺乏结构，阻碍了缓存状态的有效重用，严重限制了推理效率，无法实现真正无限的视频生成。

在视觉自回归（AR）模型狂奔的今天，我们似乎已经习惯了将 Tokenizer 和生成器当作完美的黑盒组合。VA-π (Variational Policy Alignment) 深入剖析了这一现象背后的结构逻辑，提出了一种极其轻量且优雅的后训练（Post-training）框架。这项研究摒弃了单纯追求工程跑分的暴力路线，而是用极具数学美感的变分推断（VI）与强化学习（RL），从根本上弥合了生成与重建的鸿沟。

《KlingAvatar2.0：多模态协同推理的数字人生成框架》提出了一种创新的时空级联架构，通过多专家协同导演实现高分辨率、长时长数字人视频合成。该系统采用两阶段生成流程：首先生成低分辨率全局"蓝图"，再通过时空上采样细化高分辨率子片段。创新性地引入音频/视觉/文本三位专家组成的协同推理导演模块，通过多轮对话解决多模态指令冲突，并新增"负面导演"优化生成质量。

SoulX-LiveTalk提出了一种14B参数的实时音频驱动虚拟形象框架，通过创新的双向蒸馏策略和全栈优化实现高效生成。该框架摒弃传统单向范式，采用双向注意力机制增强运动连贯性，结合多步自校正机制防止长周期误差累积。通过混合序列并行、并行VAE等优化技术，系统在8个H800节点上实现0.87秒启动延迟和32FPS吞吐量。实验表明，该框架在视觉质量、唇音同步和长期稳定性上均优于现有方法，训练效率提升23倍。未来将探索模型轻量化以降低硬件需求。

本文提出OmniHuman-1.5，一种基于认知科学双系统理论（系统1反应性思维与系统2审慎思维）的视频虚拟人生成新范式。通过结合多模态大语言模型（MLLM）的高层语义推理（系统2）与多模态Diffusion Transformer（MMDiT）的低层信号融合（系统1），模型实现了动作的物理合理性与语义一致性。创新点包括：1）采用MLLM智能体生成结构化行为计划；2）设计对称多模态分支与伪最后一帧策略解决模态冲突。

阿里等发布FantasyTalking，通过单张照片+音频，实现与输入音频对应的、包含背景和上下文对象（而不仅限于肖像本身）的连贯全局运动，并能够构建精确对齐的唇部运动视频。