Kling-Omni Technical Report

Kling-Omni 论文核心总结与翻译

一、主要内容总结

Kling-Omni 是快手团队提出的一款通用生成框架，旨在通过多模态视觉语言（MVL）输入直接合成高保真视频。该框架打破了传统视频生成、编辑与智能推理任务的功能割裂，采用端到端架构将三类任务整合为统一系统，支持文本指令、参考图像、视频上下文等多样化输入，输出电影级质量的智能视频内容。

核心构成

1. 模型架构：包含提示增强器（PE）、全功能生成器（Omni-Generator）、多模态超分辨率模块三大核心组件，基于扩散Transformer与视觉语言模型构建共享嵌入空间，实现深度跨模态交互。
2. 训练策略：采用三阶段训练流程（预训练→有监督微调→强化学习），结合两阶段蒸馏技术将推理步数从150 NFE压缩至10 NFE，平衡生成质量与计算效率。
3. 数据系统：构建跨模态（图/文/视频）、跨任务（生成/编辑/参考对齐）的综合数据集，通过三层数据处理（基础过滤→时间稳定性评估→跨模态对齐检测）保障数据质量。
4. 优化方案：训练阶段采用多模态数据管道负载均衡、激活优化、高可用机制（97%有效训练时间占比）；推理阶段通过混合并行、量化、