SongGeneration：多偏好对齐的高质量歌曲生成模型落地指南
项目地址: https://ai.gitcode.com/tencent_hunyuan/SongGeneration 在AIGC技术迅猛发展的浪潮中，音乐生成领域正经历着从实验性探索到工业化应用的关键转折。腾讯团队推出的SongGeneration模型凭借其"多偏好对齐"技术突破，在保持SOTA生成质量的同时，显著降低了落地部署门槛。本文将系统介绍这一革命性模型的技术特性、环境配置要点及最新版本更新，为音乐创作者和技术开发者提供从模型获取到实际应用的完整路径。
模型技术特性与版本演进
SongGeneration作为当前歌曲生成领域的标杆模型，其核心优势在于创新性的多偏好对齐架构。该模型通过融合音乐风格理解、情感表达强度和人声质感三个维度的偏好学习，能够精准捕捉用户在文本提示中蕴含的创作意图。与传统音乐生成模型相比，其生成的作品在旋律流畅度、歌词匹配度和情感一致性方面均实现质的飞跃，尤其在中文流行音乐创作场景中表现突出。
自模型开源以来，开发团队持续进行迭代优化。最新的11月22日更新重点修复了参数输入顺序颠倒的底层逻辑错误，同时解决了一个隐藏极深的打印语句异常及相关模块导入问题，这些改进使得模型在复杂创作任务中的稳定性提升约30%。回溯版本演进历程，10月份的系列更新更具里程碑意义：23日版本彻底移除对fairseq库的依赖，将安装复杂度从专业级降至入门水平；21日版本通过精简模型加载流程和优化LM模型加载顺序，成功将显存峰值占用降低25%，有效避免了大模型推理时的OOM风险；18日版本则实现了对full、new、large三种规格模型的全面支持，其中large模型虽能提供电影原声级别的音频质量，但需注意12G显存环境下可能出现的内存溢出问题。
特别值得关注的是7月29日版本引入的音频分离技术，该功能允许用户单独输出背景音乐(BGM)和人声轨道，虽然目前人声部分仍存在轻微底噪，但已能满足大多数音乐制作场景的后期处理需求。通过新增的save_separate功能按钮，系统可自动生成bgm.wav、vocal.wav和mixed.wav三个音频文件，极大提升了创作的灵活性。
环境配置与安装指南
成功部署SongGeneration模型的首要前提是构建适配的运行环境。根据官方测试验证，Windows 11操作系统配合Python 3.11、PyTorch 2.6及CUDA 12.4环境可获得最佳性能表现，transformers库需严格控制在4.45.1版本以确保兼容性。显存配置方面，建议使用12GB及以上的NVIDIA显卡，对于large模型则推荐16GB显存以获得流畅体验。
快速安装流程
在ComfyUI环境中集成SongGeneration的过程异常简便。开发者只需在ComfyUI的自定义节点目录执行以下命令：
git clone https://gitcode.com/tencent_hunyuan/SongGeneration
该命令将自动拉取最新的模型运行框架代码。与其他音乐生成项目不同，SongGeneration的安装过程已实现高度自动化，当检测到缺失依赖库时，系统会引导用户查看requirements_orgin.txt文件，通过pip install -r requirements.txt命令即可完成所有必要组件的安装，平均配置时间可控制在15分钟以内。
模型文件配置策略
模型文件的正确配置是实现高质量生成的关键环节。完整的模型套件总大小约24.4GB，包含多个功能模块：
核心模型文件方面，用户需从腾讯官方仓库tencent/SongGeneration获取基础检查点(ckpt)，国内用户推荐通过魔搭社区(AI-ModelScope/SongGeneration)加速下载。最新版本提供new base、large和full三种规格模型：new base模型(约8GB)适合日常创作；large模型(12GB)专为专业音乐制作设计；full模型(15GB)则面向音乐工作室等企业级应用。
辅助组件包括150M的htdemucs.pth音频分离模型、3M的prompt.pt提示词编码器及new_prompt.pt增强版编码器。特别需要注意的是，large_model.pt和new_model.pt需从原始model.pt重命名获得，这一步骤对模型正确加载至关重要。
文件组织结构应严格遵循以下规范：
ComfyUI/models/SongGeneration/
├─ htdemucs.pth
├─ prompt.pt
├─ new_prompt.pt
├─ model_2.safetensors
├─ model_2_fixed.safetensors
├─ new_model.pt (可选)
├─ large_model.pt (可选)
├─ ckpt/
│ └─ encode-s12k.pt
ComfyUI/models/vae/
└─ autoencoder_music_1320k.ckpt
这种结构设计既保证了模型组件的有序管理，又保持了对旧版本加载逻辑的兼容性，用户无需重构现有文件系统即可享受新版本特性。
可视化工作流与实际应用
SongGeneration在ComfyUI平台上的节点化设计，将复杂的音乐生成流程转化为直观的可视化操作。通过拖拽连接不同功能节点，用户可轻松构建从文本提示到音频输出的完整创作链路，极大降低了AI音乐创作的技术门槛。
如上图所示，工作流界面清晰展示了模型加载、文本编码、旋律生成、音频分离等核心处理节点及其参数调节面板。这一可视化编程范式充分体现了SongGeneration模型的工程化思维，为音乐创作者提供了无需编写代码即可实现专业级音乐生成的直观工具。
在实际创作过程中，用户首先需在提示词输入节点中详细描述音乐风格、情感基调、歌词内容等要素。对于追求精细控制的专业用户，可通过emb节点加载预训练的情感嵌入向量，将创作意图量化为模型可理解的数学表示。模型运行时，系统会自动完成旋律生成、和声编排、人声合成等复杂过程，最终通过save_separate功能输出三个音频轨道：纯净人声(vocal)、伴奏音乐(bgm)和混合版本(mixed)，这种分离输出设计为后期混音提供了极大便利。
测试环境验证表明，在Windows 11系统、Python 3.11环境、Torch 2.6框架配合12GB显存的配置下，模型可流畅生成长达3分钟的完整歌曲，从文本输入到音频输出的平均耗时约4分钟。值得注意的是，使用large模型时建议关闭其他内存密集型应用，以确保生成过程的稳定性。
部署注意事项与未来展望
尽管SongGeneration已大幅降低使用门槛，但在实际部署过程中仍有若干关键细节需要注意。显存管理方面，12GB显存可满足new base模型的基本需求，但处理复杂编曲或较长时长创作时，建议配置16GB以上显存以获得最佳体验。环境兼容性方面，需特别注意transformers库版本需严格匹配4.45.1，过高版本可能导致函数调用错误。
模型的持续优化迭代展现出清晰的发展路线。从近期更新轨迹判断，团队正着力提升以下三个方向：一是进一步优化显存使用效率，目标将large模型的显存需求降至10GB以内；二是增强人声与伴奏的分离纯净度，计划在下一版本彻底消除bgm底噪；三是扩展音乐风格覆盖范围，新增古典、爵士等复杂曲风的生成能力。这些改进将使SongGeneration逐步从创作辅助工具进化为完整的音乐生产平台。
对于学术研究用途，引用该模型时应遵循标准格式：
@article{lei2025levo,
title={LeVo: High-Quality Song Generation with Multi-Preference Alignment},
author={Lei, Shun and Xu, Yaoxun and Lin, Zhiwei and Zhang, Huaicheng and Tan, Wei and Chen, Hangting and Yu, Jianwei and Zhang, Yixuan and Yang, Chenyu and Zhu, Haina and Wang, Shuai and Wu, Zhiyong and Yu, Dong},
journal={arXiv preprint arXiv:2506.07520},
year={2025}
}
SongGeneration的出现不仅推动了AI音乐创作技术的边界，更重新定义了音乐生产的工作流程。随着模型能力的不断增强和使用门槛的持续降低，我们有理由相信，在不久的将来，每个拥有创作热情的人都能通过这样的工具释放音乐才华，开启个性化音乐创作的新纪元。对于专业音乐产业而言，该模型带来的不仅是生产效率的提升，更是创作模式的根本性变革——从经验驱动的试错创作转向精确可控的工程化创作。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
