【多模态基础模型与具身智能】18 音频-语言联合建模：语音、音乐与文本统一

音频-语言联合建模：语音、音乐与文本统一

Whisper、AudioPaLM 等模型的多任务训练框架，推导音频 token 化（SoundStream/EnCodec）与语言模型的联合似然

---

一、核心概念与知识图谱

音频-语言联合建模的本质是将高维连续波形压缩为离散 token，再与文本 token 纳入同一自回归框架。Whisper 通过多任务格式统一了语音识别的跨语言迁移；AudioPaLM 进一步将语义 token 与声学 token 注入 PaLM 的联合词汇表，使单一 decoder-only 模型可同时读写语音与文本。神经编解码器 SoundStream 与 EnCodec 通过残差向量量化（RVQ）将波形映射为层级离散码，为语言模型处理音频提供了可计算的符号接口。

---

二、总体结构图

音频-语言模型的顶层架构分为三个处理平面：波形压缩平面将原始音频通过神经编解码器离散化；语义对齐平面将离散音频 token 与文本 token 映射到共享嵌入空间；任务推理平面在 decoder-only Transformer 中通过自回归联合分布完成语音-文本的任意转换。

---

三、音频 Token 化模块设计

音频 token 化是连续波形与离散语言模型之间的桥梁，采用双层表征：语义 token 捕获语言内容，声学 token 保留说话人身份与音色细节。SoundStream 与 EnCodec 通过残差向量量化实现高保真压缩。

---

四、联合建模模块设计

AudioPaLM 将文本词汇表扩展为联合词汇表，音频 token 与文本 token 在 decoder-only Transformer 中共享注意力与前馈层。模型通过自回归联合分布同时消费和产生两种模态，实现语音-文本的无缝转换。

---

五、模块协同与闭环数据流

训练阶段，原始波形经音频 tokenizer 转为离散序列，与文本 token 交错拼接为统一序列送入 decoder。推理阶段，模型自回归生成联合序列，音频 token 经 SoundStream 解码器还原为波形，文本 token 经 SentencePiece 还原为字符。Whisper 的多任务格式通过强制前缀 token 控制任务类型，实现同一模型在不同语音任务间的零切换。

---

六、接口对接与信号流向

系统对外暴露三类接口：音频接口接收原始波形或 mel 特征；文本接口接收自然语言指令或转写目标；任务接口通过特殊控制 token（如语言标识、任务标签、时间戳开关）指定当前推理模式。内部信号流中，音频嵌入与文本嵌入在输入层拼接，经 Transformer 统一处理后，由共享的输出投影层分发到不同模态的解码路径。

---

七、三层架构总览

物理层部署于 TPU/GPU 集群，承载音频编解码器与大规模 Transformer 的前向计算；信号层处理三类数据流：语义 token 流（25 Hz，低码率）、声学 token 流（50 Hz，高码率）与文本 token 流（符号级）；应用层面向语音翻译、语音识别、文本转语音与语音克隆等任务，通过任务标签实现单一模型的多任务服务。

---

八、音频 Token 化与神经编解码推导

8.1 语义 Token：内容解耦

语义 token 旨在捕获音频中的语言学内容，同时丢弃说话人、环境噪声等与信息无关的变体。AudioPaLM 采用 w2v-BERT 或 USM 编码器提取中间层隐藏状态，帧率为 25 Hz。设编码器输出为 $h_t\in {\mathbb{R}}^d$，通过 k-means 量化为 $V_s=1024$ 个聚类中心之一：

st=arg⁡min⁡k∈{1,…,Vs}∥ht−ck∥2.s_t = \arg\min_{k \in \{1, \dots, V_s\}} \| h_t - c_k \|^2.st​=argk∈{1,…,Vs​}min​∥ht​−ck​∥2.

该过程将连续嵌入映射为离散语义索引序列 $s=[s_1,s_2,\dots ,s_T]$，其中 $T$ 与音频时长成正比。语义 token 的压缩率极高（约 25 token/秒），适合语言模型建模长程结构。citeweb_search:15#4web_search:14#18

8.2 声学 Token：波形重建

声学 token 由神经编解码器 SoundStream 或 EnCodec 生成，目标是以尽可能低的码率保留完整波形信息。编码器将波形帧映射为潜在向量 $z_t$，再通过残差向量量化（RVQ）逐层离散化。设共有 $Q$ 个量化器，第 $q$ 个量化器对前 $q-1$ 层的残差进行量化：

$$r_t^{(1)}=z_t,a_t^{(q)}=\arg \underset{k}{\min }\Vert r_t^{(q)}-e_k^{(q)}{\Vert }^2,r_t^{(q+1)}=r_t^{(q)}-e_{a_t^{(q)}}^{(q)}.$$

最终每帧产生 $Q$ 个声学 token $[a_t^{(1)},\dots ,a_t^{(Q)}]$，帧率通常为 50 Hz。第 1 层码本捕获粗结构（如频谱包络），后续层逐级细化残差（如谐波细节与噪声）。SoundStream 的训练损失包含三项：波形重建的 L1 损失、多分辨率 STFT 感知损失、以及对抗判别器损失，确保解码器可从量化 token 高保真还原原始音频。citeweb_search:14#18web_search:14#9

8.3 层级生成策略

AudioLM 提出两阶段层级生成：第一阶段以语义 token 为自回归目标，建立长程语言结构；第二阶段以语义序列为条件，自回归生成声学 token，实现高保真波形重建。设语义序列为 $s$，声学 token 为 $a$，联合分布分解为

$$P(a,s)=P(s)\prod _{t=1}^{T}P(a_t\mid s,a_{<t}).$$

该分解将内容规划与声学渲染解耦，使语言模型只需在 25 Hz 的语义空间进行长程推理，声学细节由条件生成器在 50 Hz 空间局部补全。AudioPaLM 进一步将语义 token 直接纳入文本 LLM 的词汇表，使语义生成与文本翻译共享同一 decoder。citeweb_search:14#18web_search:15#4

---

九、联合似然建模与多任务训练

9.1 联合词汇表的嵌入扩展

AudioPaLM 的核心创新在于将文本-only LLM 扩展为音频-文本联合模型。设原始文本词汇量为 $V_{\text{text}}$，嵌入矩阵为 $E_{\text{text}}\in {\mathbb{R}}^{V_{\text{text}}\times d}$；新增音频 token 词汇量为 $V_{\text{audio}}$，随机初始化嵌入 $E_{\text{audio}}\in {\mathbb{R}}^{V_{\text{audio}}\times d}$。联合嵌入矩阵为

$$E_{\text{joint}}=\left[\begin{array}{c}{E}_{\text{text}}\\ E_{\text{audio}}\end{array}\right]\in {\mathbb{R}}^{(V_{\text{text}}+V_{\text{audio}})\times d}.$$

输出层 softmax 的线性投影与输入嵌入共享参数，即 $W_{\text{out}}=E_{\text{joint}}^{\top }$，保证文本预训练知识在音频扩展后得以保留。citeweb_search:15#4web_search:15#11

9.2 交错序列的联合似然

设训练样本为音频与文本的交错序列 $x=[x_1,x_2,\dots ,x_L]$，其中每个 $x_i$ 属于联合词汇表。decoder-only Transformer 通过标准因果掩码对联合分布进行自回归分解：

$$P_{\theta }(x)=\prod _{i=1}^L{P}_{\theta }(x_i\mid x_{<i})=\prod _{i=1}^L\text{softmax}{\left(E_{\text{joint}}^{\top }{h}_i\right)}_{x_i},$$

其中 $h_i=\text{Transformer}(x_{<i})$ 为第 $i$ 步的隐藏状态。该公式对音频 token 与文本 token 一视同仁，模型通过统一注意力机制学习跨模态的上下文关联。citeweb_search:15#4web_search:15#0

9.3 多任务训练损失

Whisper 的多任务格式通过强制前缀控制任务类型。设输入音频对应的文本转写为 $y$，decoder 输入被强制 prepend 以下 token：开始标记、语言标记、任务标记、时间戳标记。条件联合概率改写为

$$P(y\mid x_{\text{audio}},t_{\text{task}})=\prod _{j=1}^{|y|}P(y_j\mid x_{\text{audio}},t_{\text{task}},y_{<j}),$$

其中 $t_{\text{task}}$ 为任务控制 token。训练目标为最大化上述条件概率，等价于最小化交叉熵损失：

$${\mathcal{L}}_{\text{Whisper}}=-\sum _{j=1}^{|y|}\log P_{\theta }(y_j\mid x_{\text{audio}},t_{\text{task}},y_{<j}).$$

AudioPaLM 将这一思想扩展到混合任务：ASR（音频→文本）、AST（音频→翻译文本）、TTS（文本→音频）、S2ST（音频→音频）。所有任务统一表示为交错序列，通过文本标签区分任务类型。设第 $m$ 个文本跨度为 ${\mathcal{T}}_m$，第 $m$ 个音频跨度为 ${\mathcal{A}}_m$，则文本部分的联合似然为

$$p_{\theta }(x_{\text{text}})=\prod _{m=1}^M\prod _{j=1}^{|{\mathcal{T}}_m|}{p}_{\theta }(t_{m,j}\mid {\mathcal{T}}_{<m},{\mathcal{A}}_{<m},t_{m,<j}).$$

对应的训练损失为

$${\mathcal{L}}_{\text{AR}}=-\sum _{k=1}^{|{\mathcal{T}}_{\le m}|}\log p_{\theta }\left(x_{{\pi }_{\text{text}}(k)}\mid x^{<{\pi }_{\text{text}}(k)}\right),$$

其中 ${\pi }_{\text{text}}(k)$ 为交错序列中第 $k$ 个文本 token 的位置索引。该损失使模型在同时看到音频与文本上下文的条件下，自回归预测下一个文本 token，实现跨模态对齐。citeweb_search:15#4web_search:15#0web_search:14#20

9.4 文本预训练知识的迁移

AudioPaLM 以 PaLM 或 PaLM-2 的文本预训练权重初始化，音频嵌入随机初始化。由于 Transformer 的层参数继承自大规模文本预训练，模型天然具备语言理解与翻译能力。在语音翻译任务中，音频 token 经语义编码后，其隐空间分布与文本翻译的源语言表示对齐，从而使 PaLM-2 的文本翻译能力直接迁移到音频域。实验表明，基于 PaLM-2 的 AudioPaLM-2 在零样本 AST 上较 AudioPaLM 提升 28%–107%，验证了文本知识向音频模态的有效传递。citeweb_search:15#4web_search:15#13

---

十、Whisper 的多任务格式与任务统一

10.1 强制解码器输入

Whisper 的 encoder-decoder 架构在 decoder 端采用强制前缀机制实现多任务统一。给定音频编码 $z=\text{Encoder}(x_{\text{audio}})$，decoder 输入被强制设为

$$\text{DecoderInput}=[\text{startoftranscript},\text{lang},\text{task},\text{notimestamp}/\text{timestamp}].$$

语言 token 由模型自动识别或外部强制指定；任务 token 区分 transcribe 与 translate；时间戳 token 控制是否输出时间对齐。该格式使同一模型在训练时暴露于所有任务变体，推理时仅通过修改前缀即可切换行为。citeweb_search:14#20web_search:14#14

10.2 弱监督规模与迁移

Whisper 在 68 万小时弱监督音频数据上训练，涵盖多语言语音识别、语音翻译与语言识别。多任务共训练产生正向迁移：翻译任务提升的语义理解反过来改善同语言转写的音素判别能力。其训练目标与公式 9.3 一致，但 Whisper 仅输出文本 token，不涉及音频生成，因此损失仅计算文本部分的交叉熵。citeweb_search:14#14web_search:14#3

---

十一、总结

音频-语言联合建模通过神经编解码器将连续波形转化为离散 token，使语言模型得以在统一符号空间内处理语音与文本。残差向量量化的层级结构将语义内容与声学细节解耦：语义 token 以 25 Hz 低速率承载语言结构，声学 token 以 50 Hz 高速率保证波形重建。AudioPaLM 将语义 token 与文本 token 纳入同一 decoder-only Transformer，通过扩展嵌入矩阵实现联合似然建模：

$$P_{\theta }(x)=\prod _{i=1}^L\text{softmax}{\left(E_{\text{joint}}^{\top }{h}_i\right)}_{x_i}.$$

多任务训练以交错序列的形式统一 ASR、AST、TTS 与 S2ST，文本预训练知识通过权重初始化直接迁移到音频域。Whisper 则以 encoder-decoder 架构配合强制前缀格式，在 68 万小时弱监督数据上实现跨任务正向迁移。二者的共同本质是将音频视为另一种"语言"，在自回归联合分布框架下完成从感知到生成的端到端建模。citeweb_search:15#4web_search:14#20web_search:14#18

---

参考文献

• Radford, A., et al. (2022). Robust speech recognition via large-scale weak supervision. arXiv:2212.04356. citeweb_search:14#20
• Rubenstein, P. K., et al. (2023). AudioPaLM: A large language model that can speak and listen. arXiv:2306.12925. citeweb_search:15#4
• Borsos, Z., et al. (2022). AudioLM: A language modeling approach to audio generation. arXiv:2209.03143. citeweb_search:14#18
• Zeghidour, N., et al. (2021). SoundStream: An end-to-end neural audio codec. arXiv:2107.03312. citeweb_search:14#18
• Défossez, A., et al. (2022). EnCodec: High fidelity neural audio compression. arXiv:2210.13438. citeweb_search:14#15