Wav2vec 2.0

连续的语音特征与离散的语音特征的区别

在wav2vec 2.0模型中，连续的语音特征和离散的语音特征有着根本性的区别，这对模型的设计和性能至关重要：

连续的语音特征

1. 定义：连续特征是由特征提取器(CNN编码器)直接输出的浮点数向量表示，保留了原始音频的丰富信息
2. 特点：
   • 包含更细粒度的声学信息，如音高、音色、能量等连续变化
   • 保留了更多原始信号的细节和微妙变化
   • 维度通常较高(如512或768维)
   • 值域是连续的实数空间
3. 用途：在wav2vec 2.0中，连续特征作为Transformer网络的输入，用于构建上下文化表示

离散的语音特征

1. 定义：通过量化模块将连续特征映射到有限的码本条目集合中，形成离散的表示
2. 特点：
   • 将连续空间压缩为有限数量的离散单元
   • 使用Gumbel-Softmax技术从多个码本中选择条目
   • 每个时间步的特征被表示为码本索引的组合
   • 可以看作是对语音单元(如音素)的抽象表示
3. 用途：在wav2vec 2.0中，离散特征作为对比学习任务中的目标，模型需要预测被掩码时间步的正确离散表示.

关键区别与意义

1. 信息密度：连续特征保留更多细节信息，而离散特征提供更抽象、更稳定的表示
2. 学习效果：
   • 论文实验表明，使用"连续输入+离散目标"的组合效果最佳
   • 连续特征作为输入可以保留更丰富的信息供Transformer处理
   • 离散目标使模型学习更稳健的表示，避免过度关注背景噪声等无关信息
3. 计算效率：离散表示通常更紧凑，可以减少存储和计算需求
4. 语言学意义：离散单元往往与语言学单位(如音素)有一定对应关系，更接近人类对语音的认知方式

这种连续与离散特征的结合是wav2vec 2.0模型成功的关键因素之一，使其能够在极少量标注数据的情况下仍然取得出色的语音识别性能。