Transformer——Q106 推导音频Transformer的频谱图位置编码公式

墨顿

于 2025-05-21 15:56:29 发布

阅读量815

点赞数 9

CC 4.0 BY-SA版权

文章标签： transformer 深度学习人工智能架构变体跨模态扩展

本文链接：https://blog.youkuaiyun.com/pzccool/article/details/148116328

该问题归类到Transformer架构问题集——架构变体——跨模态扩展。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景

音频频谱图是一种二维结构（横轴为时间帧 T，纵轴为频率 bins F），用于表示音频信号在时间和频率维度上的分布。传统 Transformer 的位置编码专为一维序列（如文本单词序列）设计，无法直接处理这种二维结构。为使音频 Transformer 有效捕捉频谱图中时间和频率的位置信息，必须推导适用于二维频谱图的位置编码公式。这一编码的合理性直接影响模型对音频内容（如语音识别、音频生成等任务）的理解与处理能力，是音频 Transformer 架构中的关键环节。

2. 技术原理与数学理论解析

音频频谱图的二维特性（时间与频率维度）决定了需分别对两个维度编码，再融合成二维位置编码。选择正弦余弦函数进行编码，是因其周期性可有效表示位置的相对关系，且对长序列外推友好 —— 即便遇到超出训练数据长度的音频，也能保持位置信息的一致性。将模型维度 $d_{\text{model}}$ 分为时间编码维度 $d_t$ 和频率编码维度 $d_f$ （ $d_t + d_f = d_{\text{model}}$ ），是因时间和频率在音频中角色不同：时间体现音频的序列特性（如语音先后顺序），频率体现频谱成分（如不同音调）。

2.1 时间维度编码

对于时间位置 t，编码公式为： $PE_{t,(pos,2i)} = \sin\left(\frac{t}{10000^{2i/d_t}}\right), \quad PE_{t,(pos,2i+1)} = \cos\left(\frac{t}{10000^{2i/d_t}}\right)$

分母采用 $10000^{2i/d_t}$ 这种指数形式，是为使不同维度 i 对应不同频率。随 i 增加，频率逐渐降低，从而在不同维度捕捉多层次时间位置信息。例如，低维（小 i）捕捉短期时间间隔，高维（大 i）捕捉长期时间趋势，让模型理解音频的时间结构。

2.2 频率维度编码

频率位置 f 的编码为： $PE_{f,(pos,2i)} = \sin\left(\frac{f}{10000^{2i/d_f}}\right), \quad PE_{f,(pos,2i+1)} = \cos\left(\frac{f}{10000^{2i/d_f}}\right)$

如此设计可让模型区分不同频率成分的位置。例如，语音中低频常对应基频（与音高相关），高频对应泛音（与音色相关），编码后模型能分别捕捉这些特征，理解音频的频率构成。

2.3 二维位置编码合成

将时间与频率编码叠加，即 $PE(t, f) = PE_t(t) + PE_f(f)$ ，是因音频的完整位置信息由时间和频率共同决定。一个频谱图单元既需知道在时间轴上的顺序，也需知道在频率轴上的位置，两者缺一不可。通过叠加，每个单元获得包含时间与频率位置信息的编码向量，使 Transformer 全面感知二维结构，处理音频中的复杂模式（如语音的韵律和音色变化）。

3. LLM 中的使用实例

3.1 HuBERT

在语音表示学习中，HuBERT 对频谱图应用二维位置编码，帮助模型区分不同时间帧和频率 bin 的特征。例如在语音识别任务中，清晰的位置编码使模型更准确地将频谱特征与音素对应，提升识别精度。若缺乏有效位置编码，模型可能混淆不同时间点的相似频谱，导致识别错误。

3.2 Wav2Vec 2.0

处理音频频谱图时，Wav2Vec 2.0 利用位置编码捕捉时间序列和频率成分的位置信息。在低资源语音识别场景中，通过位置编码保留的结构信息，模型能更好地学习语音模式。例如，在少量训练数据下，仍可通过编码感知语音的时间演变和频率分布，提升对语音信号的理解。

3.3 SoundStorm

在音频生成任务中，SoundStorm 通过频谱图位置编码，让模型把握音频的时间 - 频率结构。例如生成语音时，确保不同频率成分在时间轴上的分布符合自然语音规律。若编码不合理，生成的语音可能出现频率与时间不匹配的情况（如高频音持续时间过长不符合自然发声），而合理编码使生成语音更自然、更具表现力。

4. 优缺点分析

4.1 优点

显式编码结构：明确将时间和频率位置信息编码到模型中，帮助模型理解音频的二维结构，提升对音频特征的捕捉能力。例如在语音识别中，模型可借助编码区分同一频率在不同时间的含义（如不同时刻的同一音素）。
周期性外推：基于正弦余弦的编码具有周期性，对长序列或超出训练数据长度的音频外推友好，保持位置信息的一致性。如处理超长音频时，编码仍能合理表示位置，避免模型因位置信息混乱而失效。

4.2 缺点

固定模式局限：固定的正弦余弦编码方式可能无法完全适应复杂多变的音频模式，如特殊音效或非平稳音频信号。例如，对于突然变化的频率成分，固定编码可能无法及时调整表示，导致模型误判。
计算量增加：二维编码相比一维编码，在高分辨率频谱图（大 T 和 F）中会显著增加计算量和内存占用。如处理高采样率、多频率通道的音频时，编码计算量可能成为模型训练和推理的瓶颈。

5. 优化策略

5.1 可学习位置编码

采用参数化的可学习矩阵替代固定编码，如 $PE_t = \mathbf{W}_t \cdot t$ ， $PE_f = \mathbf{W}_f \cdot f$ （ $\mathbf{W}_t$ 和 $\mathbf{W}_f$ 是可学习的权重矩阵）。通过训练数据自适应学习时间和频率的表示，提升对复杂音频模式的适应性。例如，在训练中，模型可根据实际音频数据调整矩阵参数，使编码更贴合数据特点，增强对特殊音频模式的处理能力。

5.2 稀疏位置编码

对低频部分（时间或频率）采用更密集的编码，高频部分适当稀疏化。例如，在频率维度，对人耳敏感的低频区域分配更多编码维度，减少高频区域的冗余编码。这样在保持关键信息（如语音基频）的同时降低计算量，提升模型效率。

6. 代码示例与解读

import torch  
import math  

class SpectrogramPositionalEncoding(torch.nn.Module):  
    def __init__(self, d_model, max_time=500, max_freq=100):  
        super(SpectrogramPositionalEncoding, self).__init__()  
        self.d_model = d_model  
        self.max_time = max_time  
        self.max_freq = max_freq  

        # 时间编码  
        pe_time = torch.zeros(max_time, d_model // 2)  
        time_pos = torch.arange(0, max_time, dtype=torch.float).unsqueeze(1)  
        div_term_time = torch.exp(torch.arange(0, d_model // 2, 2).float() * (-math.log(10000.0) / (d_model // 2)))  
        pe_time[:, 0::2] = torch.sin(time_pos * div_term_time)  
        pe_time[:, 1::2] = torch.cos(time_pos * div_term_time)  

        # 频率编码  
        pe_freq = torch.zeros(max_freq, d_model // 2)  
        freq_pos = torch.arange(0, max_freq, dtype=torch.float).unsqueeze(1)  
        div_term_freq = torch.exp(torch.arange(0, d_model // 2, 2).float() * (-math.log(10000.0) / (d_model // 2)))  
        pe_freq[:, 0::2] = torch.sin(freq_pos * div_term_freq)  
        pe_freq[:, 1::2] = torch.cos(freq_pos * div_term_freq)  

        # 扩展维度以匹配频谱图的二维结构  
        self.pe_time = pe_time.unsqueeze(1).repeat(1, max_freq, 1)  # (T, 1, d_model//2) → (T, F, d_model//2)  
        self.pe_freq = pe_freq.unsqueeze(0).repeat(max_time, 1, 1)  # (1, F, d_model//2) → (T, F, d_model//2)  

    def forward(self, x):  
        # x形状应为 (time, freq, d_model)  
        return x + torch.cat([self.pe_time, self.pe_freq], dim=2)

代码解读：
- 初始化时，分别计算时间和频率的正弦余弦编码。通过 torch.exp 生成分母项 $10000^{2i/d}$ 的指数形式，再利用 torch.sin 和 torch.cos 生成编码值。这一步的数学依据是前文推导的时间和频率编码公式，通过代码实现将位置映射到多维空间。
- 扩展维度时，时间编码在频率维度重复（unsqueeze(1).repeat(1, max_freq, 1)），频率编码在时间维度重复（unsqueeze(0).repeat(max_time, 1, 1)），最终通过 torch.cat 合并为完整的 $d_{\text{model}}$ 维度。这样处理是为了让时间编码适应频谱图的频率维度，频率编码适应时间维度，确保每个频谱图单元都能获得包含时间和频率信息的完整编码，加到输入频谱图 x 上后，模型即可感知二维位置信息。

7. 总结

音频 Transformer 的频谱图位置编码通过对时间和频率维度分别采用正弦余弦编码后叠加，为模型提供了二维位置信息。其数学原理基于正弦余弦函数的周期性和对位置关系的有效表示，因果逻辑清晰 —— 因音频频谱图的二维特性，故需分别编码时间和频率，再合成完整位置信息。尽管固定编码存在对复杂音频模式适应性差和计算量高的缺点，但通过可学习编码、稀疏编码等策略可优化。在语音识别、音频生成等实际任务中，合理的位置编码能显著增强模型对音频信号的理解。未来，随着音频任务的多样化，频谱图位置编码可能会与更灵活的编码方式结合，进一步提升音频 Transformer 的性能，使其在音频处理领域发挥更大作用。