webrtc 音视频数据流向

1.分析思路切入点

音视频的处理过程是一个很典型的流水线形式，如下图所示：

对于一个程序来说，人员应该关注数据结构和数据的流向，这里的数据结构指的是核心的数据模型，是对业务的抽象结构，比如Linux下的进程 task_struct结构体。开发人员要清晰地知道整个程序在生命周期内的数据流向，知道数据在模块之间是怎么流动的，输入前和收入后有什么变化。

基于上面的流程图，本文分析下webrtc中核心的音视频数据流向图，希望可以给读者建立一个webrtc音视频处理过程的初步印象。

2. 音视频处理流程

运行环境是在window下，基于webrtc官方的native demo，只分析视频数据的处理过程，按照webrtc 线程处理数据的功能进行划分。

这张图是来自知乎陈子兴，清晰地概括webrtc中的线程模型，webrtc的各个模块就运行在这些线程中。

2.1 发送端

2.1.1 采集和前处理

独立的视频采集线程，这个线程操作包括通过libyuv进行的一些前处理过程