2025_NIPS_Audio Flamingo 3: Advancing Audio Intelligence with Fully Open Large Audio Language Models

文章核心总结与创新点

主要内容

Audio Flamingo 3（AF3）是一款完全开源的顶尖大型音频语言模型（LALM），专注于语音、声音、音乐三大音频模态的理解与推理。模型通过统一音频编码器、创新数据集构建、五阶段课程式训练策略，实现了多轮多音频对话、按需推理、语音交互、10分钟长音频理解等核心能力，在20余个音频基准测试中超越开源及闭源模型，仅基于开源音频数据训练却达到SOTA性能。

核心创新点

1. 统一音频编码器AF-Whisper：基于Whisper大模型扩展，通过音频字幕任务训练，实现语音、声音、音乐三大模态的统一表征学习，解决多编码器复杂度高、训练不稳定的问题。
2. 四大创新数据集：构建AudioSkills-XL（800万音频QA对）、LongAudio-XL（125万长音频QA对）、AF-Think（25万推理导向QA对）、AF-Chat（7.5万多轮多音频对话数据），覆盖短音频推理、长音频理解、链式思考、对话交互四大场景。
3. 灵活按需推理机制：通过AF-Think数据集训练，模型可在提示下生成简洁的链式推理步骤，仅在需要时启动推理，兼顾效率与准确性。
4. 五阶段课程式训练：逐步提升上下文长度与任务复杂度，依次完成模态对齐、编码器调优、推理能力训练、长上下文扩展、对话与语音交互优化。
5. 全栈开源特性：公开模型权重、训练数据、代码及训练流程，支持