港科大联合月之暗面提出AudioX！任意内容生成音频和音乐！

🌐 社群导航

🔗点击加入➡️【AIGC/LLM/MLLM/3D/自动驾驶】 技术交流群

🔗点击加入➡️【2-3月CCF投稿】交流群

最新论文解读系列

论文名：AudioX: Diffusion Transformer for Anything-to-Audio Generation
论文链接：https://arxiv.org/pdf/2503.10522
开源代码：https://zeyuet.github.io/AudioX/

导读
近年来，音频生成，尤其是音效和音乐生成，已成为多媒体创作中的关键要素，在众多应用中提升用户体验方面展现出实际价值。例如，在社交媒体、电影制作和视频游戏中，音效和音乐能显著增强情感共鸣，吸引观众参与。创造高质量音频的能力不仅丰富了多媒体内容，也为创意表达开辟了新途径。
简介
音频和音乐生成已成为许多应用中的关键任务，但现有方法存在显著局限性：它们孤立运行，缺乏跨模态的统一能力，高质量的多模态训练数据稀缺，且难以有效整合不同输入。在这项工作中，我们提出了Audio ，这是一种用于任意