AudioStory: Generating Long-Form Narrative Audio with Large Language Models

AudioStory相关总结与翻译

一、文章主要内容

本文聚焦现有文本到音频（TTA）生成模型在长时长叙事音频生成上的不足，提出了名为AudioStory的统一框架，旨在解决长时长叙事音频所需的时间连贯性和组合推理难题。

核心背景与问题

现有TTA模型（如TangoFlux、AudioLDM等）虽能生成高质量短音频片段，但在长时长叙事音频生成上存在明显缺陷：一是难以维持主题、音效和情感基调的时间连贯性；二是缺乏将复杂指令分解为逻辑有序子事件的组合推理能力，例如无法合理编排“暴雨中紧张追逐”这类场景下各音效的时序、强度与互动关系。

AudioStory框架核心构成

1. 交错推理生成机制：采用“分而治之”策略，利用大语言模型（LLM）将多模态指令（文本、音频或视频）分解为结构化的音频生成子任务，每个子任务附带时间偏移、情感基调和角色互动等上下文线索，再通过扩散模型（DiT）逐段生成音频片段，最终组合为完整长音频。
2. 解耦桥接机制：将LLM与扩散模型的协作拆分为两种专用令牌：
   • 语义令牌（Semantic Tokens）：编码文本导向的音频语义，确保事件内语义对齐；
   • 残差令牌（Residual Tokens）：捕捉细微声学线索和