Opus编解码器中音乐检测的奥秘

Opus是一个有损音频压缩的数字音频编码格式，由Xiph.Org基金会开发，之后由互联网工程任务组（IETF）进行标准化，目标是希望用单一格式包含声音和语音，取代Speex和Vorbis，且适用于网络上低延迟的即时声音传输，标准格式定义于RFC 6716文件。Opus格式是一个开放格式，使用上没有任何专利或限制。Opus编码不同声音编码格式的比特率、采样率与延迟性如下图所示：

Opus支持语音（SILK层）和音乐（CELT层）的单独或混合模式，它们对应的比特率范围如下所示：

Opus1.1 音乐检测算法

在比较早的版本需要开发者手动选择是音乐还是语音，但是在1.1这个版本，提出了根据输入音频内容自动选择对应的模式，其原理如下所示：

在这个版本首先提取对应音频的BFCC系数(就是RNNoise里的特征)，并对系数进行一阶二阶差分，除此之外还使用了在可变比特率（VBR）计算中得出的音调估计