WebRTC[32]-WebRTC之CNG

最新推荐文章于 2025-11-16 14:56:41 发布

Data-Mining

最新推荐文章于 2025-11-16 14:56:41 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： WebRTC工作原理精讲文章标签： cng webrtc 舒适噪音音频

本文链接：https://blog.youkuaiyun.com/liuzehn/article/details/80516127

WebRTC工作原理精讲专栏收录该内容

55 篇文章 ¥89.90 ¥99.00

订阅专栏

本文介绍了WebRTC中的舒适噪音生成（CNG）技术，它在通话时产生背景噪声，提升用户体验并减少带宽占用。CNG与语音活动检测结合，可在静音时产生人工噪音，避免噪音调制，提高通话质量。CNG算法着重于匹配不同类型的背景噪声，以提供连续的音频流感觉。

前言

正文

前言

舒适噪音生成（CNG）是WebRTC借鉴传统VoIP技术实现的一个基础功能，一方面是提升用户体验，另一方面是减少音频数据的传输，减少带宽占用。

PS:《WebRTC工作原理精讲》系列-总览

正文

舒适噪音生成（comfort noise generator，CNG）是一个在通话过程中出现短暂静音时用来为电话通信产生背景噪声的程序。在webrtc中是一个重要的模块，主要的代码并不多，如下图所示：

其中，cng编码是一个重点，关键函数及实现：

size_t ComfortNoiseEncoder::Encode(rtc::ArrayView<const int16_t> speech,
                                   bool force_sid,
                                   rtc::Buffer*

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Data-Mining

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

WebRTC系列-Qos系列之接收方NetEQ_DelayManager

HOSTEN的博客

03-17

799

/ 是不是收到的第一个包 bool first_packet_received_;// 数据包缓冲区的容量 const size_t max_packets_in_buffer_;// histogram 也就是直方图 std :: unique_ptr < Histogram > histogram_;// 直方图分位数 const int histogram_quantile_;// 直方图的模式 const HistogramMode histogram_mode_;

WebRTC系列--WebRTC音频支持RedFEC的修改

HOSTEN的博客

07-14

2788

2 条评论您还未登录，请先登录后发表或查看评论

1 条评论

CodecGuard 2018.06.10
持续关注
- Data-Mining回复CodecGuard 2019.09.12
  [reply]CodecGuard[/reply] 3ks

FastNoiseLite:快速便携式噪声库-C＃C ++ C Java HLSL

05-13

FastNoise精简版 FastNoise Lite是一个极其可移植的开源噪声生成库，具有多种噪声算法选择。该库侧重于高性能，同时避免了平台/语言的特定功能，从而允许轻松移植到尽可能多的语言。该项目是库的发展，并具有相同的目标：易于使用的库，可以快速集成到项目中并提供现代噪声生成。查看从过渡到FastNoise Lite的更改明细如果您正在寻找更广泛的噪声生成库，请考虑使用。由于采用了SIMD，它可以大大提高性能，并使用节点图结构允许具有很大灵活性的复杂噪声配置。特征 2D和3D OpenSimplex2噪声 OpenSimplex2S噪声蜂窝（Voronoi）噪声佩林噪声价值噪声值立方噪声基于OpenSimplex2的域扭曲基本网格渐变域变形以上所有方面的多重分形选项支持浮球和/或双打支持的语言 C＃ C ++ 98 C99 Java HLSL

白话解读 WebRTC 音频 NetEQ 及优化实践

yinshipin007的博客

04-03

784

NetEQ 作为音频接收侧的核心功能，基本上包含了各个方面，所以很多很多音视频通讯的技术实现里都会有它的踪迹，乘着WebRTC开源快 10 年的东风，NetEQ 也变的非常普及，希望这篇白话文章能帮大家更好的理解 NetEQ。原文白话解读 WebRTC 音频 NetEQ 及优化实践 - 知乎★文末名片可以免费领取音视频开发学习资料，内容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。见下方!

ESP32 WebSocket实现实时语音双向通信架构

热门推荐

u012931018的专栏

11-30

1万+

webrtc 的回声抵消(aec、aecm)算法简介 webrtc 的回声抵消(aec、aecm)算法主要包括以下几个重要模块：1.回声时延估计 2.NLMS(归一化最小均方自适应算法) 3.NLP（非线性滤波） 4.CNG(舒适噪声产生），一般经典aec算法还应包括双端检测(DT)。考虑到webrtc使用的NLMS、NLP和CNG都属于经典算法范畴，故只做简略介绍，本文重点介绍web

音频知识点（5）- VAD/CNG/DTX

liuzhen007的专栏

06-15

3531

VAD（话音活动检测）/DTX（不连续传输）/CNG（舒适噪音生成）主要应用在不活跃的语音周期中，降低传输速率，同时保持可接受的输出质量。VAD将输入信号分类为活动语音、非活动语音和背景噪声。基于VAD决策，DTX在静默期间插入静默插入描述符（SID）帧。在静默期间，SID帧被周期性地发送到CNG模块，该模块在接收端的非活动语音期间产生环境噪声。提升用户体验，防止用户误认为通话已结束。VAD (V...

g723源码详细分析-16-舒适噪声生成

touchinsert

01-13

693

Cod_Cng 这个函数,先利用当前子帧的自相关系数和,即: R[i]= Rsub0[i] + Rsub1[i] + Rsub2[i] + Rsub3[i] i = 0 ~ 10 Rsub0[i]表示第一个子帧的自相关系数利用这组自相关系数,通过莱文森德宾算法,估算当前帧的残差能量即在德宾算法的最后一轮迭代产生的分母,就是残差能量的估值代码片段 */ //lsc CodCn...

webRTC AEC 添加舒适噪声算法

李江龙的博客

07-17

3142

webRTC的舒适噪声实际上就是，一个随机噪声经过同一帧消回声输出NLP参数的加权处理产生的噪声。如果是32K信号，则对产生的高频段随机噪声统一加权，加权值是同一帧消回声输出NLP参数的平均值。 static void ComfortNoise(AecCore* aec, float efw[2][PART_LEN1], ...

舒适噪声生成算法及其实现

shichaog的专栏

05-05

5302

音频处理入门笔记

imyfriend的专栏

09-22

8592

ES: Echo Suppresion EES: Enhanced Echo Suppresion AEC: Acoustic Echo Cancellation 声学回声消除。在一般的VOIP软件或视频会议系统中，假设我们只有A和B两个人在通话，首先，A的声音传给B，B然后用喇叭放出来，而这时B的MIC呢则会采集到喇叭放出来的声音，然后传回给A，如果这个传输的过程中时延足够大，A就会听

webrtc-audio-processing 麦克风回声消除教程

08-05

### WebRTC音频处理中麦克风回声消除的实现与优化在WebRTC音频处理中，麦克风回声消除（Acoustic Echo Cancellation, AEC）是确保高质量音频通信的核心模块之一。其核心思想是通过自适应滤波器算法，将扬声器播放的音频信号从麦克风采集的信号中减去，从而消除回声干扰[^1]。 #### 回声消除的基本流程 WebRTC的AEC模块通过以下几个步骤实现回声消除： 1. **信号采集**：麦克风采集近端语音信号，同时获取扬声器播放的远端语音信号作为参考信号。 2. **自适应滤波**：使用自适应滤波器对参考信号进行滤波，生成模拟回声信号。 3. **回声消除**：将模拟回声信号从麦克风采集的信号中减去，得到初步估计的纯净语音信号。 4. **双讲检测与处理**：通过语音活动检测（VAD）模块判断是否处于双讲状态（即远端和近端同时说话），并根据检测结果调整滤波器参数。 5. **回声抑制与非线性处理**：对初步估计的纯净语音信号进行回声抑制和非线性处理，以进一步提升语音质量。 6. **输出处理后的语音信号**：将经过处理的语音信号进行编码和传输[^3]。 #### WebRTC AEC模块的实现 WebRTC的AEC模块是基于自适应滤波器实现的，其算法能够动态调整滤波器系数，以适应不同的声学环境。在实现过程中，AEC模块需要同时处理远端参考信号和近端麦克风信号，并通过时域或频域的方法进行滤波和减法操作[^1]。以下是一个简化版的AEC初始化和处理流程示例代码： ```cpp #include "webrtc/modules/audio_processing/include/audio_processing.h" // 创建AudioProcessing实例 webrtc::AudioProcessing* apm = webrtc::AudioProcessing::Create(); // 启用AEC模块 apm->echo_cancellation()->Enable(true); // 设置AEC模块的模式 apm->echo_cancellation()->set_use_legacy_aec(false); // 使用新版AEC模块 // 音频处理流程 void ProcessAudio(const int16_t* near_audio, int16_t* out_audio, int sample_rate_hz, size_t num_channels) { webrtc::AudioFrame frame; frame.samples_per_channel_ = sample_rate_hz / 1000 * 10; // 10ms音频 frame.num_channels_ = num_channels; frame.sample_rate_hz_ = sample_rate_hz; // 假设near_audio是麦克风采集的原始音频数据 memcpy(frame.data_, near_audio, sizeof(int16_t) * frame.samples_per_channel_ * num_channels); // 执行音频处理 apm->ProcessStream(&frame); // 输出处理后的音频 memcpy(out_audio, frame.data_, sizeof(int16_t) * frame.samples_per_channel_ * num_channels); } ``` #### 优化策略为了提升回声消除效果，WebRTC提供了多种优化策略： - **自适应滤波器调整**：根据声学环境变化动态调整滤波器长度和收敛速度，以提高消除精度。 - **双讲检测优化**：利用VAD模块更准确地识别双讲状态，防止在双讲时错误地抑制近端语音。 - **非线性处理增强**：在回声残留较多的情况下，启用非线性抑制策略，进一步降低回声感知。 - **舒适噪声生成（CNG）**：在无语音活动时生成低强度的背景噪声，避免静音带来的不适感[^3]。 #### 调试与测试在实际部署WebRTC AEC模块时，建议进行充分的测试和调试。可以通过以下方式验证回声消除效果： - **使用测试音频文件**：录制包含回声的音频样本，并将其输入AEC模块进行处理，观察输出是否消除了回声。 - **启用调试日志**：WebRTC支持输出音频处理过程中的中间数据，可用于分析滤波器收敛情况和回声消除效果。 - **调整参数**：根据实际使用场景调整AEC模块的参数，如滤波器长度、双讲检测灵敏度等[^2]。 #### 与其他音频处理模块的集成 WebRTC的音频处理模块（APM）集成了多个子模块，包括降噪（NS）、自动增益控制（AGC）、语音活动检测（VAD）等。这些模块可以与AEC协同工作，共同提升音频质量。例如，VAD模块可以辅助AEC进行双讲检测，而NS模块可以进一步降低背景噪声[^4]。