VIBEVOICE Technical Report

一、文章主要内容总结

VIBEVOICE是微软研究院提出的一款新型语音合成模型，专注于解决长文本、多说话人语音合成难题，核心内容围绕模型架构设计、关键组件优化及性能验证展开，具体如下：

1. 研究背景：现有文本转语音（TTS）技术虽能生成高保真单说话人短语音，但在长文本（如播客、多人有声书）和多说话人对话合成上存在局限——传统拼接式合成难以实现自然的话轮转换与内容感知生成，且多数相关研究要么未开源，要么在生成长度和稳定性上表现不佳。
2. 模型架构
   • 双语音分词器：包含声学分词器与语义分词器。声学分词器基于σ-VAE（变分自编码器）设计，采用7级改进Transformer块的分层架构，实现3200倍压缩率（24kHz输入对应7.5Hz帧速率），训练目标参考DAC框架；语义分词器镜像声学分词器编码器架构，但无VAE组件，以自动语音识别（ASR）为代理任务训练，仅保留编码器用于提取确定性语义特征。
   • 核心序列模型：以预训练大语言模型（LLM，如Qwen2.5的1.5B和7B参数版本）为核心，输入为“说话人标识+声学 latent 特征+文本脚本嵌入”的拼接序列，LLM处理后输出隐藏状态，为后续扩散头提供条件。
   • 令牌级扩散模块：采用轻量级扩散头（4层结构），基于LLM隐藏状态，通过反向噪声过程预测干净的声学VAE特征；推理时结合无分类器引导（CFG）与高效采样器（如DPM-Solver++），加速从随机高斯噪声到目标声学特征的迭代优化，最终经声学分