WebRTC源码研究（1）WebRTC架构

最新推荐文章于 2025-05-04 00:00:00 发布

极客雨露

最新推荐文章于 2025-05-04 00:00:00 发布

阅读量4.3k

点赞数 21

分类专栏： WebRTC

本文链接：https://blog.youkuaiyun.com/kyl282889543/article/details/106633118

版权

文章目录

WebRTC源码研究（1）WebRTC架构

WebRTC源码研究（1）WebRTC架构

本人最近主要聚焦于音视频领域的学习，学习了很多相关视频和书籍，目前还在学习中，写的这些博客很多内容都是来源于慕课网李超老师的视频，想学习音视频的强烈建议去购买李超老师的视频，讲的很好，价格不贵，购买李超老师的视频点击这里。

WebRTC 是一个音视频通信的百宝箱，给音视频处理和即时通讯提供了成熟的解决方案。关键是这个方案的源码是开源的，你可以深入研究这些源码，学习里面的解决疑难问题的算法，应用在你的项目中。 WebRTC是一个非常优秀的多媒体框架，具有跨平台的特性。

更多详情请参考：

1. WebRTC简介

WebRTC，名称源自网页即时通信（英语：Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的API。它于2011年6月1日开源并在Google、Mozilla、Opera支持下被纳入万维网联盟的W3C推荐标准。

WebRTC是为了解决 Web 端无法捕获音视频的能力，并且提供了 peer-to-peer（就是浏览器间）的视频交互。

WebRTC汇集了先进的实时通信技术，包括：先进的音视频编解码器（Opus和VP8/9），强制加密协议（SRTP和DTLS）和网络地址转换器（ICE＆STUN）。

WebRTC实现了基于网页的视频会议，标准是WHATWG 协议，目的是通过浏览器提供简单的javascript就可以达到实时通讯（Real-Time Communications (RTC)）能力。

WebRTC（Web Real-Time Communication）项目的最终目的主要是让Web开发者能够基于浏览器（Chrome\FireFox…）轻易快捷开发出丰富的实时多媒体应用，而无需下载安装任何插件，Web开发者也无需关注多媒体的数字信号处理过程，只需编写简单的Javascript程序即可实现，W3C等组织正在制定Javascript 标准API，目前是WebRTC 1.0版本，Draft状态；另外WebRTC还希望能够建立一个多互联网浏览器间健壮的实时通信的平台，形成开发者与浏览器厂商良好的生态环境。同时，Google也希望和致力于让WebRTC的技术成为HTML5标准之一，可见Google布局之深远。

WebRTC提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，并且还支持跨平台：windows，linux，mac，android。

2. WebRTC的能力

根据最初的定义，WebRTC被指定为P2P（peer-to-peer）技术。

自成立以来，WebRTC已经大大降低了Web开发人员通过简单的Java API构建实时通信应用程序的难度。
但要清楚，WebRTC是一种技术，而不是一个完整的应用程序或服务。我们可以认为WebRTC就是音视频领域的一个百宝箱，它并不是一个创新的技术，而是将以往的音视频技术一统江湖，融合在一起，做了一定的优化处理。它里面关于音视频处理的算法很多都可以抠出来用在不同场合。

目前来看，WebRTC在电视会议和直播领域有很大的潜力。

虽然WebRTC最初被设想为纯粹的P2P技术，但许多日常业务应用程序需要集中式媒体功能，通过P2S（peer-to-server）架构提高可靠性、效率或扩展性。
对于P2P和P2S架构之间的问题对于构建WebRTC应用程序很重要。

WebRTC 为了不限制服务器相关技术发展，并没有将信令SDP 等服务器技术统一标准，每个开发者可以根据自己的情况去选择信令服务器。

WebRTC 是一个音视频处理+ 即时通讯的开源库，它是一个非常优秀的多媒体框架，而且还跨平台。在音视频领域有两个泰山北斗级别的开源库，一个是FFmpeg，另一个就是WebRTC 。他们拥有各自不同的侧重点，优势。FFmepg的侧重点是多媒体的编辑，音视频的编解码等对视频文件的处理。而对于WebRTC, 它的优势是整个网络中实现音视频的传输，对网络的抖动，丢包，网络的评估，在网络层面的各自算法优化保证了音视频传输的稳定，此外它还可以对网络传输经常发生的回音等问题优化处理，如回音消除，降噪。

总的来说，WebRTC能做下面这些事情：

音视频实时互动
游戏，即时通讯，文件传输等等
它是一个百宝箱，传输，音视频处理（回音消除，降噪）

2.1 抓住属于WebRTC的5G时代风口

2.1.1 浏览器的支持情况

到目前为止，几乎所有主要的浏览器都兼容WebRTC,除了IE浏览器外，WebRTC现在得到了所有主要浏览器的支持和采用，包括谷歌Chrome、苹果Safari、Mozilla Firefox 、QQ浏览器、360浏览器和Microsoft Edge。
支持的浏览器

2.1.2 大厂的加入

威胁传统音视频提供商声网（跨国，跨印度）、即构科技、融云。一波新的会议供应商正在使用WebRTC技术来勇闯互联网，对传统音视频提供商给予了致命的一击。
WebRTC可靠性和易用性（声网在web端调用的是标准的API（WebRTC api） W3C）
WebRTC通过web浏览器普及会议体验，支持点击开始，并消除了额外软件的麻烦，从而使这种体验成为可能。

2.1.3 WebRTC应用案例

2.1.3.1 教育行业解决方案

教育行业解决方案

2.1.3.2 互动电商解决方案

2.1.3.3 企业视频协作/OA办公解决方案

2.1.3.4

3. webrtc架构

我们先来看一下网上广为流传的webrtc架构图，这张图来自WebRTC官网，另外可以参考WebRTC中文网：

总体上来说看上面图可以知道整个浅绿色部分都属于WebRTC核心架构层，它封装各种提供给web端使用的Web API层接口。紫色的部分属于应用层，使用核心层提供的API。你可以在应用层扩展相关API，调用WebRTC核心层的接口。

WebRTC核心层又分为四层：

WebRTC C C++ API (PeerConnection): 这层的API相对比较少，最主要就是实现P2P连接。在PeerConnection里面又包含了很多接口，如传输质量，传输质量报告，统计数据，各种流都是封装在PeerConnection模块里面。除此之外主要有音视频采集，音视频传输，非音视频数据传输等。
Session Management/ Abstract signaling (Session): 会话层，用来管理音视频，非音视频数据传输，处理相关逻辑。
最核心的第三层，包含：音频引擎，视频引擎，传输，3大核心模块。
最底层是与硬件相关的硬件适配层：这层包含：音频的采集和渲染，视频的捕捉，网络IO。注意到上图中底层的这个三个模块都是画的虚线，表示这些模块是可以自己去实现的，可以重载的，这样大大增加WebRTC的灵活性，为跨平台提供了基础。

WebRTC最核心的三大模块：Voice Engine, Video Engine , Transport，这三个层中Voice Engine只处理音频相关的技术，Video Engine处理视频相关的技术，音频和视频是相互独立的，一个重要的技术：音视频同步并不包含在这里面。

Voice Engine 音频引擎包含3大模块：

iSAC/iLBC Codec: 这个模块主要是编解码，iSAC/iLBC 是jips公司开发的，另外有我们熟悉的音频G711, G726,AAC， Opus 目前使用的最多也是Opus,几年前AAC也是很火的，你可以自己把AAC模块加入到WebRTC里面.其中WebRTC中使用的是Opus,后面的会详细讲解这块的知识。
NetEQ for voice: NetEQ实际上是一个音频缓冲的buffer,用于做网络的适配。如我们做防止音频抖动，这里面涉及了很多相关的算法。
Echo Canceler/ Noise Reduction: 这里面解决了很多做音频头疼的问题：回音消除，降噪等问题处理算法。回音消除是困扰很多公司的一个头疼的技术，但WebRTC里面提供了非常成熟，稳定的回音消除算法，值得好好研究，应用到自己的产品中。其实很多算法工程师做的也是利用像WebRTC一样的开源代码，自己调一些参数，来提高音频质量。

Video Engine 视频引擎包含3大模块：

VP8 Codec: 这块主要是视频编解码器，VP8，VP9都是google开发出来的，之前WebRTC最先支持的是自己家的VP8，后面也支持了H264,H265， Open H264 , xh264(在官方的WebRTC里面是不支持的,如果你想支持可以自己安装Open H264的模块添加进去)
Video jitter buffer:视频jitter buffer跟音频buffer一样也是用来防止视频抖动的。
Image enhancements: 这块是图像处理相关的，如图像增加处理，WebRTC来说图像增强这一块做的比较薄。它把相应的接口也都留出来了，如果你想做一些美颜，贴图，滤镜处理，你也可以在提供的预留接口中去实现。像人脸视频这些接口都有，你都可以加入进去。

Transport 传输模块包含3大模块：
传输底层用的是UDP 协议，因为音视频传输对及时性要求更高，允许部分丢帧，WebRTC充分利用的UDP的不管控能力，利用各种成熟的算法保证高质量的音视频传输，可以自动适配码率变换。所有音视频的数据的发送，接收都是通过传输层去做的，从图中可以看出来，WebRTC的架构层次是非常清晰的。

SRTP: 一般正常视频传输都是使用RTP协议，但是由于浏览器对安全性要求比较高，增加了加密这块的处理，采用SRTP协议。还有控制流的传输的协议RTCP，将相应的数据发送，接收报告发送给对方，这样对方就可以做流控处理。
Multplexing:这里主要是多个流复用同一个通