腾讯开源SongGeneration：LeVo架构双轨革命，重新定义AI音乐创作生态
项目地址: https://ai.gitcode.com/tencent_hunyuan/SongGeneration 导语：中文AI音乐生成的里程碑突破
腾讯AI Lab正式开源基于LeVo架构的SongGeneration音乐大模型，通过混合音轨与双轨并行建模技术实现人声与伴奏的完美融合，中文处理能力超越同类产品，重新定义AI音乐创作效率与品质。
行业现状：AI音乐生成的爆发与痛点
2025年全球音乐大模型市场规模预计达187亿美元，中国占比32%。当前行业形成多极格局：某消费级产品以1200万用户领跑，某专业平台专注音乐制作，而腾讯SongGeneration的开源策略正打破部分技术垄断。数据显示，AI生成音乐在短视频配乐场景已占据60%份额，但中文歌曲生成长期面临歌词对齐不准、风格违和等痛点。
随着Suno、Udio等海外产品的爆发，AI音乐生成技术已从实验室走向大众视野。量子位智库《AI音乐应用产业报告》指出，生成式AI工具的出现将创作者范围进一步扩大，中低端音乐市场因此面临变革。
如上图所示，这张图片是"AI音乐应用产业报告"的封面，背景为带有科技感的隧道光效，左上角有"量子位 insights"标志，底部标注报告日期、机构及分析师信息，主题围绕AI音乐生成与产业发展。该报告指出，生成式AI工具的出现将创作者范围进一步扩大，中低端音乐市场因此面临变革。
核心亮点：LeVo架构的双轨并行革命
混合-分离双轨建模技术
SongGeneration的核心创新在于混合-分离双轨建模技术。通过LeLM语言模型并行处理两种音频令牌：混合令牌确保人声与伴奏和谐统一，双轨令牌则独立编码细节，配合音乐编解码器实现48kHz高保真还原。这种架构使生成2分钟歌曲仅需5-10分钟，且相关指标全面超越同类产品。
模型在百万歌曲数据集上训练，支持中英文双语创作，尤其在中文歌词对齐准确率上表现突出。其零样本音色克隆功能仅需3秒音频即可复制目标音色，包含音调、情感和韵律特征，为虚拟偶像、游戏配音等场景提供技术支撑。
多维度人类偏好对齐
SongGeneration是业内已知首个对齐了多维度人类偏好的音乐生成大模型，以较低的成本有效提升了由于数据匮乏导致的音乐性问题和指令遵循问题。重点关注了对用户使用体验具有显著影响的音乐性偏好，歌词对齐偏好和提示一致性偏好。
三阶段训练范式
针对歌曲生成的复杂性和数据稀缺的特点，SongGeneration提出了一种全新的三阶段训练范式，以进一步优化基于语言模型的音乐生成：预训练、模块化扩展训练和多偏好对齐。
模型版本对比
| Model | Max Length | Language | GPU Memory | RFT(A100) |
|---|---|---|---|---|
| SongGeneration-base | 2m30s | zh | 10G/16G | 1.26 |
| SongGeneration-base-new | 2m30s | zh, en | 10G/16G | 1.26 |
| SongGeneration-base-full | 4m30s | zh, en | 12G/18G | 1.30 |
| SongGeneration-large | 4m30s | zh, en | 22G/28G | 1.51 |
| SongGeneration-v1.5-small | 2m | zh, en, es, ja, etc. | - | - |
| SongGeneration-v1.5-base | 4m30s | zh, en, es, ja, etc. | - | - |
| SongGeneration-v1.5-large | 4m30s | zh, en, es, ja, etc. | - | - |
性能评测：开源与商业模型的巅峰对决
SongGeneration联合中国传媒大学音乐与录音艺术学院萧萍副教授AI音乐科研团队，建立了一套基于客观分析和主观感知的评价体系，对SongGeneration和三款商业模型（Suno v4.5、海绵音乐、Mureka O1）、四款开源模型（YuE、DiffRhythm、ACE-Step、SongGen）的音乐生成表现进行了全方位的主客观评测。
如上图所示，该图展示了SongGeneration与Suno v4.5、海绵音乐、Mureka O1等模型在音乐生成的整体表现、旋律、伴奏等多维度的主观评测雷达图对比。从图中可以看出，SongGeneration在整体表现、旋律、伴奏、结构、音质等维度均与业界顶尖商业模型不相上下，尤其在歌词准确度上表现突出。
该图为雷达图，展示了SongGeneration与YuE、DiffRhythm、ACE-Step、SongGen等模型在整体表现、旋律、伴奏、结构、音质、歌词准确度六个维度的主观评测对比结果，其中SongGeneration在多维度表现中领先。这表明SongGeneration在开源领域已处于技术领先地位，为开发者提供了强大的音乐生成工具。
应用场景：从创作到产业的全链路赋能
C端创作便捷化
用户通过文本描述（如"国风 抒情"）或10秒参考音频即可生成完整歌曲，分轨输出功能支持后期精细编辑。开源社区已衍生出古风、电子等细分风格微调模型。普通用户只需简单几步即可完成专业级音乐创作，极大降低了音乐创作门槛。
B端商业价值
游戏厂商可实时生成动态背景音乐，虚拟人项目实现个性化演唱，广告公司30分钟内完成配乐制作。腾讯云已推出API服务，支持日均10万次调用需求。这种高效的音乐生成能力为各类商业场景提供了全新的解决方案，大幅降低了音乐制作成本并提高了效率。
腾讯音乐启明星AI作歌凭借在技术创新与产业应用上的卓越成果，成功获选2025中国数字音乐产业大会"数字音乐创新技术应用优秀案例"。深化与娱乐、品牌营销等内容产业的探索合作，与浪琴、CK、费列罗等知名品牌合作发起互动营销活动，生成定制化音乐作品超200万首，创造百万级商业价值的同时，拓展音乐营销新模式。
如上图所示，图片呈现"数字音乐创新技术应用优秀案例"颁奖典礼现场，腾讯音乐娱乐集团"腾讯音乐启明星AI作歌"项目团队上台领奖，背景展示华为、快手等企业的数字音乐技术成果，体现AI技术在数字音乐领域的创新应用。这一荣誉证明了腾讯在AI音乐生成领域的技术实力和产业影响力。
行业影响与趋势
作为国内首个开源音乐大模型，SongGeneration降低了技术门槛，开发者可通过以下命令本地部署：
git clone https://gitcode.com/tencent_hunyuan/SongGeneration
cd SongGeneration && pip install -r requirements.txt
python inference.py --text "青春 励志" --style pop
但行业仍面临版权挑战。相关报告显示，78.5%消费者认为AI训练需获版权方授权。腾讯采用多偏好对齐技术，通过ASR模型计算音素错误数构建训练数据，在合规性上领先同类产品。
根据最新的市场研究数据显示，AI音乐生成市场在2024年的价值已达到6.42亿美元，预计到2030年将达到30亿美元，年复合增长率高达29.5%。这一惊人的增长速度反映了AI音乐生成技术正在打破传统音乐创作的门槛，让普通用户也能够参与到音乐创作的过程中来。
未来展望：多模态创作与伦理平衡
SongGeneration roadmap显示，2025年底将推出多模态版本，支持根据视频内容生成配乐。技术迭代方向包括：
- 实时协作创作系统
- 音乐情感动态调控
- 民族乐器音色库扩展
正如腾讯AI Lab负责人所言："AI不是取代音乐人，而是让每个人都能释放创作欲。"随着LeVo架构的开源，中国AI音乐技术正从追赶者变为规则制定者。未来，我们有理由相信AI音乐生成技术将在多模态融合、交互式生成和个性化定制等方向持续发展，为音乐产业带来更多可能性。
总结
腾讯SongGeneration的开源标志着中国AI音乐技术进入新的发展阶段。通过创新的LeVo架构和双轨并行建模技术，SongGeneration不仅解决了中文歌曲生成的痛点，还为整个行业提供了一个开放、合规的技术平台。无论是对于个人创作者还是商业机构，这一开源模型都提供了前所未有的创作可能性和商业价值。
随着技术的不断进步和生态的完善，我们期待看到更多基于SongGeneration的创新应用和商业模式的出现，共同推动AI音乐产业的健康发展。对于开发者和创作者而言，现在正是探索AI音乐创作的最佳时机，通过掌握这些新兴工具，为未来的音乐创作和产业发展做好准备。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
