音视频通信

一、音视频通信流程

音视频通信完整流程有如下几个环节：采集、编码、前后处理、传输、解码、缓冲、渲染等。

每一个细分环节，还有更细分的技术模块。比如，前后处理环节有美颜、滤镜、回声消除、噪声抑制等，采集有麦克风阵列等，编解码有H.263，H.264、H.265等。

二、流媒体协议

1、RTSP

RTSP（Real-Time Streaming Protocol），实时流式协议。

• RTSP一般不用作直播场景，RTSP一般用作摄像头、监控等硬件设备的实时视频流观看与推送上。
• 现在的浏览器都不支持RTSP的播放。

2、RTMP

RTMP（Real Time Messaging Protocol），实时消息传输协议。是一个古老的协议。RMTP最初由Macromedia开发，后被Adobe收购，至今仍被使用。由于RTMP播放视频需要依赖Flash插件。而Flash插件多年来一直受安全问题困扰，正在被迅速淘汰。因此，目前RTMP主要用于提取stream。也就是当设置解编码器将视频发送到托管平台时，视频将使用RTMP协议发送到 CDN，随后使用另一种协议（通常是HLS）传递给播放器。

• RTMP协议是既可以推流、也可以拉流的协议。一般只用作直播源推流、推流到直播CDN等场景。
• RTMP地址是rtmp://开头的，且推流地址与播放地址是一样的。
• RTMP协议的延迟是比较低的，大概在1-3秒</