boywgw的专栏

摘要：本文主要介绍WebRTC的APM。WebRTC强大的技术和易用性在此不再累述。研究了RTC那么久的时间，在国内的社区和论坛鲜见详细介绍其中具体技术的文章和讨论。因此准备花点时间总结一下自己对WebRTC 的Audio Processing Module 的理解。希望国内能有更多做音频算法的同行集思广益，推进音频技术的发展。现在主要介绍一下audio_processing.h。首先

http://www.jianshu.com/p/c84be6f3ddf3

http://blog.youkuaiyun.com/doitsjz/article/details/53794174

http://blog.youkuaiyun.com/liuhongxiangm/article/details/53581064

视频采集模块在WebRTC框架中负责从视频源中采集视频数据，发送到本地显示模块和编码模块进行处理。视频源除了常见的摄像头，也可以是桌面抓屏或者窗口抓屏，或者一个视频文件。视频采集模块是平台相关的，MacOS和IOS平台一般使用AVFoundation框架， Linux平台一般使用V4L2库，Windows平台则使用MediaFoundation库。1. 视频采集模块的实现WebRTC的视频

libjingle使用sigslot library实现对象之间的通信。sigslot是一个开源的回调框架，它可以使得类之间的回调使用的简单化。sigsolt源码下载地址：http://sigslot.sourceforge.net/sigsolt的优点：(1)不用担心空回调，当回调对象析构时会自动disconnect(2)支持多线程，线程安全，有锁

webrtc 的回声抵消(aec、aecm)算法主要包括以下几个重要模块：1.回声时延估计 2.NLMS(归一化最小均方自适应算法) 3.NLP（非线性滤波） 4.CNG(舒适噪声产生），一般经典aec算法还应包括双端检测(DT)。考虑到webrtc使用的NLMS、NLP和CNG都属于经典算法范畴，故只做简略介绍，本文重点介绍webrtc的回声时延估计算法,这也是webrtc回声抵消算法区别一般算

WebRTC由语音引擎，视频引擎和网络传输三大模块组成，其中语音引擎是WebRTC中最具价值的技术之一。WebRTC语音引擎由一系列音频和网络处理模块组成，包括了从音频采集到网络传输等处理流程的完整解决方案。语音引擎工作流程图语音引擎的一般工作流程如下：1.发起端进行声音采集2.采集到的声音信号进行回声消除，噪音抑制，自动增益控制处理3.语音压缩编码4.

AudioDeviceLinuxPulse::PlayThreadProcess() AudioDeviceBuffer::RequestPlayoutData() VoEBaseImpl::NeedMorePlayData() OutputMixer::MixActiveChannels() AudioConferenceMixerImpl::Process()

最近在看webrtc开源代码，最底层封装的消息机制，是基于其has_slots，搜索了一下其资料发现是一个很好用的C++库，先对其简单介绍一下。插槽机制插槽系统常用的有三种：boost的signals,sigslot,sigc++ 基本功能有： 1.connect 2.disconnect 3.emit