WebRtc中的AEC算法

最新推荐文章于 2025-06-04 10:33:19 发布

我把葡萄酿成酒

最新推荐文章于 2025-06-04 10:33:19 发布

阅读量2.9w

点赞数 11

CC 4.0 BY-SA版权

分类专栏：信号处理

本文链接：https://blog.youkuaiyun.com/ffmpeg4976/article/details/52451433

本文介绍了WebRTC中的AEC（回声消除）算法，包括理论基础如自适应滤波器（LMS、NLMS），重点讲解了AEC算法在WebRTC中的实现，如分段快频域自适应滤波算法PBFDAF，以及接口说明。同时讨论了AEC在双端说话（Double Talk）情况下的挑战和当前存在的缺点，指出WebRTC不打算修复缺少明确的双端检测问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

理论

这里写图片描述
回声消除器的数学模型图

回声消除本质上就是把输出信号和它产生的回声信号之间建立一个回声数学模型，利用开始的数据训练这个模型的参数，怎么训练呢？

就是在远端有说话，但近端没有说话的时候，录音应该是静音，即回声完全消除。所以算法就朝着这个方向努力，一旦回声为0，则滤波器收敛。自适应滤波器算法多种多样，但是目前流行的还是最经典的LMS和NLMS，NLMS是LMS的优化。

判断标准：收敛速度快，运算复杂度低，稳定性好，失调误差小

LMS算法
实际应用中，很多时候无法预先得知信号和噪声的统计特性，这时候就用得着自适应滤波器了
常用的自适应滤波技术：LMS（最小均方）自适应滤波器，递推最小二乘（RLS）滤波器，格型滤波器，无限脉冲响应（IIR）滤波器。顾名思义，LMS是使得滤波器的输出信号和期望响应之间的误差的均方值最小，也就是求一个梯度。

WebRtc中的AEC算法属于分段快频域自适应滤波算法，Partioned block frequeney domain adaptive filter(PBFDAF)。
判断远端和近端是否说话的情况，又称为双端检测，需要监测以下四种情况：
1. 仅远端说话，此时有回声，要利用这种状态进行自适应滤波器的系数更新，尽快收敛
2. 仅近端说话，这种时候是没有回声的，不用考虑
3. 双端都在说话（Double Talk），此时系数固化，不进行系数更新
4. 双端都没有说话，这时候可以挂电话了。。。这时候需要启用近端VAD

远端需要一个VAD；在远端有声音的时候，近端即时不说话也有回声，所以VAD没什么用，只能是使用一个DTD（double talk detection）。
跟静音检测绑定在一起的技术是舒适噪声生成，这个在VOIP，phone中用的比较广泛，但是在ASR中无需使用。据估算，运用语音活动检测及舒适噪音生成可将一组音频信道对带宽的需求降低50%。

目前常用的DTD算法有两种：

基于能量的，比如Geigel算法，基本原理就是检测近端的信号强度如果足够大的话，就判断有人说话。
基于信号相关性的，使用一些相关性算法，比如余弦相似性。

Geigel Double Talk Detector

  Talk detection can be done with a threshold for the microphone signal
only.
  This approach is very sensitive to the threshold level. A more robust
  approach is to compare microphone level with loudspeaker level. The
  threshold in this solution will be a relative one. Because we deal with
  echo, it is not sufficient to compare only the actual levels, but we have
  to consider previous levels, too.
  The Geigel DTD brings these ideas in one simple formula: The last L
levels
  (index 0 for now and index L-1 for L samples ago) from loudspeaker signal
  are compared to the actual microphone signal. To avoid problems with
phase,
  the absolute values are used.
  Double talk is declared if:

    |d| >= c * max(|x[0]|, |x[1]|, .., |x[L-1]|)

  with |d| is the absolute l