LTX-2: Efficient Joint Audio-Visual Foundation Model

LTX-2 论文核心总结与关键部分翻译

一、主要内容总结

LTX-2 是一款开源的文本到音视频（T2AV）基础模型，旨在解决现有文本到视频（T2V）模型缺乏同步音频、文本到音频（T2A）模型场景单一以及传统音视频生成流水线解耦导致的协同性不足等问题。

模型核心架构采用非对称双流Transformer，包含140亿参数的视频流和50亿参数的音频流，通过双向音视频交叉注意力层、时间位置编码和跨模态AdaLN实现共享时间步条件约束，兼顾视频生成的高资源需求与音频生成的高效性。其关键设计包括：模态专属VAE实现解耦 latent 表示，支持独立优化与多任务编辑（如V2A、A2V）；多语言文本编码器（Gemma 3）与含“思考令牌”的文本处理模块，提升语音合成准确性与复杂提示词理解能力；模态感知的无分类器引导（modality-CFG）机制，增强音视频对齐度与可控性。

训练方面，模型基于含丰富音视频信息的数据集，采用专用字幕系统捕捉视觉、听觉细节与语义关联；推理阶段通过多尺度多块推理策略支持1080P高分辨率生成，且能输出长达20秒的同步立体声视频。实验表明，LTX-2 在开源模型中实现了最先进的音视频质量与提示词贴合度，性能接近专有模型，同时推理速度远超同类（如比Wan 2.2-14B快18倍），且公开了全部模型权重与代码。

二、创新点总结