本文详细梳理了WebRTC的架构，包括Voice Engine的音频处理（如iSAC/iLBC编码，NetEQ，AEC和NR），Video Engine的视频编解码（VP8）和抖动缓冲，以及传输层的安全协议（SRTP）和NAT穿越（STUN, TURN, ICE）。重点介绍了WebRTC的两层架构：应用层和核心层，核心层又分为C++ API、Session管理层、引擎层和硬件适配层。此外，还涵盖了关键概念如GCC，REMB，FEC，RTT和RTO等。"
139585703,13871089,批量识别图片版PDF中的文字：Kimichat应用实例,"['PDF处理', '图像识别', '文本提取', 'AI工具', '自动化']
webrc架构 整理
- 对外的api 是 peerconnection类
- 内部是会话管理层
- 引擎层（ve ae 传输）
- 系统/硬件 相关 适配层
- webrtc里有一些名词
Voice Engine（音频引擎）
iSAC/iLBC Codec（音频编解码器，前者是针对宽带和超宽带，后者是针对窄带）
NetEQ for voice（处理网络抖动和语音包丢失）
Echo Canceler（回声消除）/ Noise Reduction（噪声抑制）
Video Engine（视频引擎）
VP8 Codec（视频图像编解码器）
Video jitter buffer（视频抖动缓冲器，处理视频抖动和视频信息包丢失）
Image enhancements（图像质量增强）
Transport
SRTP（安全的实时传输协议，用以音视频流传输）
Multiplexing（多路复用）
P2P，STUN+TURN+ICE（用于NAT网络和防火墙穿越）
除此之外，安全传输可能还会用到DTLS（数据报安全传输），用于加密传输和密钥协商
- 整个WebRTC通信是基于UDP的
- 音频引擎的工作流程：
发送端采集音频信号，并进行回声抑制、噪声消除
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
