2025_NIPS_Efficient Speech Language Modeling via Energy Distance in Continuous Latent Space

文章总结与翻译

一、主要内容

本文提出了一种名为SLED的语音语言建模方法，核心是将语音波形编码为连续潜变量序列，并利用能量距离（Energy Distance）目标进行自回归建模。该方法旨在解决传统离散语音建模中存在的离散化误差、复杂层级架构等问题，同时兼顾建模效率与语音信息完整性。

核心背景与问题

• 文本语言建模（如GPT系列）的自回归方法已取得巨大成功，但语音作为连续信号，无法直接沿用离散词汇表的建模逻辑。
• 现有语音建模方法多依赖离散化（如残差向量量化RVQ），导致信息损失，且需复杂层级架构处理多流令牌，增加了建模复杂度与推理延迟。
• 连续潜空间建模虽能避免离散化问题，但需解决连续空间中每步分布的有效建模、采样效率与训练稳定性等挑战。

技术方案

1. 连续潜空间编码：使用Encodec提取语音的连续潜变量表示，避免离散化带来的信息瓶颈。
2. 能量距离目标：采用广义能量距离（GED）作为损失函数，度量模型生成分布与真实数据分布的差异，无需迭代采样或后处理优化。
3. 轻量生成模块：设计基于多层感知机（MLP）的条件生成模块，结合噪声向量实现高效采样，采样过程仅需单次前向传播。
4. 无分类器引导（CFG）：推理时通过掩码提示文本与原始提示文本的线性插值，提升生成语音与文本的对齐度和质量。<