基于机器学习的语音编解码器声网Agora Silver：支持超低码率下的高音质语音互动

原创

于 2021-07-14 23:20:23 发布 · 1.3k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

声网Agora推出了基于机器学习的语音编解码器Silver，旨在解决弱网环境下语音通话的音质问题。Silver采用AI降噪算法增强噪声鲁棒性，并通过深度优化的WaveRNN模型实现低码率下的高效解码，支持32KHz采样率的超宽带编码音质，同时在2.7kbps的码率下仍能保持良好音质。相比传统编码器如Opus和Lyra，Silver在语音自然度和计算效率上实现了突破，尤其适合实时互动场景。

从 1860 年电话发明，到现如今通过网络进行语音互动，语音始终是最自然、最基础的实时互动方式。过去几年，语音实时互动成为越来越多人日常生活的一部分。但是每个人都会遇到弱网环境，这会直接影响语音通话体验。所以声网也在不断地利用最前沿的技术来改进语音通话体验。我们现在在国内率先正式推出基于机器学习的语音编解码器（语音 AI Codec）——声网Agora Silver。它可以在超低码率下，提供32KHz采样率的超宽带编码音质，并通过 AI 降噪算法来进一步优化音质与语音自然听感。

传统编码器为何要引入AI？

在语音互动的过程中，所有用户都会遇到弱网。有的是因为所在地区的网络设施问题造成的；有的可能处于网络设施较好的区域，但遇到网络使用高峰期，仍然会出现网络拥塞，从而使用户分到的有效带宽降低。任何人都无法保证网络的全时稳定，弱网环境长期存在。

面对弱网，通常会选择降低码率，从而减少对带宽的占用，以此来避免出现语音卡顿的情况。但是，这种方法虽然解决了卡顿、不可用的问题，却带来了新的问题。

传统的编解码器，在极低码率时只能保持一定的语音可懂度（即听得清对方在说什么），却很难保持音色等其他信息。例如，Opus 在 6kbps 的码率下只能做到窄带语音的编码，有效语谱带宽就只有 4KHz 了。这是什么概念呢？

Opus 是目前业界应用最广泛的音频编解码器，也是 WebRTC 默认的编解码器。为了能适应不同的网络情况，它的码率可在 6kbps - 510kbps 之间调节。那么当遇到弱网，或者说网络带宽有限的时候，可以将码率最低降至 6kbps。在这个码率下，只能进行窄带语音编码。根据业界的定义，窄带语音编码的采样率为 8KHz。而根据采样定理，也称作奈奎斯特采样定理，只有采样频率高于声音信号最高频率的两倍时，才能把数字信号表示的声音还原成为原来的声音。也就是说，采样率为 8KHz 的时候，有效语谱带宽只有 4KHz。人声会听起来很闷，因为声音中很多高频的部分丢失了。

经过这么多年的发展，已经很难再通过算法调优，来帮助传统编解码器突破这个瓶颈了。而随着 AI 语音合成技术的不断发展，尤其是基于 WaveRNN 的语音生成技术的发展，人们发现将