
【JAVEdit发布背景】
自然语言指令驱动的视频编辑是当前生成式AI的重要方向,但现有工作普遍只处理纯视觉维度,如InsViE - 1M、Ditto - 1M、OpenVE - 3M等主流大规模数据集均不涉及音频编辑。少数尝试联合音视频编辑的工作(AVED、AVI - Edit)也依赖受限范式,与真实场景中用户直接给出自然语言指令的需求存在显著落差。与此同时,评测体系同样缺位,视频编辑benchmark忽略音频维度,音频生成benchmark不评测指令一致性,两者间没有统一标准。
【技术层面问题】
在技术层面,联合音视频编辑要求跨模态的时空与语义严格同步,通常需要将多个专用模型级联,但这带来跨阶段误差累积的问题;已有“human - in - the - loop”流水线虽可缓解,却难以在保证质量的前提下规模化扩展。
【JAVEdit相关成果】
针对上述问题,浙江大学、腾讯团队及其合作者提出了JAVEdit - 100k数据集、配套评测基准JAVEditBench,以及基线模型JAVEdit。研究结果显示,JAVEdit在JAVEditBench的6项指标中拿下5项第一,音视频同步性相较最强级联方案提升26%。该工作填补了「自然语言指令驱动 + 联合音视频编辑」这一任务形态在数据集与评测两个维度的空白,是该领域首个大规模高质量资源。Agent - in - the - loop质控框架可大幅减少人工介入(合格率从36%提升至83%),为未来更大规模的多模态编辑数据构建提供可复用的自动化范式。此外,实验结果揭示了音频基础模型是当前多模态生态的“木桶短板”,明确指出领域亟需一个统一支持多种参考 - 条件音频编辑能力的音频基础模型。
【研究方法】
【数据构造流水线】
据论文描述,源视频经过预处理 → 指令生成 → 类别专用编辑 → Agent - in - the - loop质控四阶段,最终产出约100K高质量联合音视频编辑三元组。1)预处理阶段:从OpenHumanVid、VIDGEN - 1M、VGGSound三个开源源头汇聚原始素材,先用LatentSync SyncNet过滤口型与音轨错位片段、再用Koala - 36M VTSS做视觉美学筛选,随后调用Qwen3 - Omni生成视觉/声学/时序三类dense caption,并通过SAM - Audio把每条音频拆解为人声、音乐、环境音三路独立流。2)指令生成阶段:由Qwen3 - 235B先判定每条视频适合哪些编辑任务,再结合人工修订的Topic Vocabulary Bank以least - frequently - used采样避免主题失衡,最后同时产出语义自洽的视觉 + 音频成对指令,保证跨模态指令彼此呼应。3)类别专用编辑阶段:针对5类任务设计了4条专用管线:Subject Editing由HunyuanImage - 3.0 Instruct接Wan2.2 - Animate完成视觉换主体、DreamVoice做声音克隆;Background Editing走HunyuanImage - 3.0 Instruct + FFP - 300K路线、HunyuanVideo - Foley配合SAM - Audio重建环境音;Subject Removal双路并择优(MiniMax - Remover+SAM3与HunyuanImage+FFP - 300K);Speech Editing用Qwen3 - TTS零样本克隆后交LatentSync对齐嘴型;Subject Addition直接复用高质量Subject Removal的数据对并反转输入输出。4)Agent - in - the - loop质控阶段:对候选数据闭环运行「检测 → 记录 → 修复 → 复检」,把容易级联放大的局部失误就地拦截。
【Agent - in - the - loop质控框架】
质控按三级分类处理:L1系统级(模板/逻辑层面批量缺陷,改代码、并重跑全批)、L2模块级(单个模块参数失当,仅调该模块重跑)、L3实例级(偶发瑕疵,预算内重试或过滤)。经3轮迭代,1K子集合格率从36% → 83%。Inspector(Gemini)对小批量数据做高保真审查并产出结构化质量报告;Orchestrator(Claude)负责分类失败、改写流水线代码、调参、协调重试,并把验证有效的修复方案存入Problem Pattern Library供跨管线复用。
【评测基准JAVEditBench】
现有视频编辑benchmark均只评测视觉流,没有任何机制衡量音频轨道是否被正确修。为此,研究团队构建了JAVEditBench:人工精选150条多样性源视频,人工审核全部编辑指令,并设计跨5维的6项指标——以VTSS、UTMOSv2、SyncNet覆盖信号层面的视觉质量、音频质量与音视频同步,以Qwen3 - Omni覆盖语义层面的Instruction Compliance、Video Fidelity与整体AV Quality。经5名专业标注员在60条视频上的两两偏好实验验证,6项指标与人类偏好的Spearman相关系数均达ρ ≥ 0.80。
【基线模型JAVEdit】
JAVEdit将LTX - 2.3改造为参考条件去噪模型:参考视频、音频与目标在序列维拼接,参考位置赋σ = 0、目标位置赋σ > 0,二者在RoPE中共享坐标系以建立精确的时空对应;仅在目标位置计算loss,并用LoRA(rank = 128)作用于注意力与FFN,在JAVEdit - 100k上微调。
【研究结果】
【数据集规模】
最终JAVEdit - 100k包含103K条高质量编辑三元组,5类任务分布均衡,Speech Editing覆盖32个主题域,统一规格1280×720、121帧、25 FPS。JAVEdit - 100k是唯一同时具备「音频 + 指令 + 智能体质控」三项能力的数据集。
【定量比较】
JAVEdit在6项指标中拿下5项第一:相对AVED与AVI - Edit在Instruction Compliance与AV Quality大幅领先;相对最强级联方案在AV Sync取得26%相对增益;AVI - Edit仅在Visual Quality略胜,得益于显式分割掩膜对编辑区域的强约束。
【定性比较】
AVED与AVI - Edit常出现过度平滑或语义错位;Sequential视觉尚可但配音错位明显;JAVEdit在视觉一致性、指令忠实度与跨模态时序同步性上整体最稳定。
【消融实验】
5K→15K→100K性能持续提升;同规模下移除Agent QC,6项指标全面下滑,印证数量与质量不可互相替代。
【不足与未来方向】
当前工作仍存在三点局限值得后续深入。第一,数据集聚焦人物中心场景,开放域泛化能力有待验证,未来需扩展至更广泛的环境音、场景与主体类别。第二,复杂指令的成功率仍受底层基础模型能力上界限制,对接更强的视频与音频生成基础模型是提升上限的直接路径。第三,当前模型主要由文本指令驱动,引入参考图作为额外条件将支持「以图指示外观/风格」的更直观编辑范式,进一步降低使用门槛并提升可控性。实验同时揭示了一个更深层的生态问题:现有音频大模型对参考 - 条件下的生成与编辑支持相当有限,没有任何单一模型能同时胜任“保持节奏的仅音色编辑”与“保持音色的仅内容编辑”这两类相反需求,领域亟需一个统一支持多种参考 - 条件音频编辑能力的音频基础模型。
110



被折叠的 条评论
为什么被折叠?



