WebRTC音视频同步原理与实现详解（上）

第一章、RTP时间戳与NTP时间戳

1.1 RTP时间戳

时间戳，用来定义媒体负载数据的采样时刻，从单调线性递增的时钟中获取，时钟的精度由 RTP 负载数据的采样频率决定。

音频和视频的采样频率是不一样的，一般音频的采样频率有 8KHz、16KHz、48KHz等，而视频反映在采样帧率上，一般帧率有 20fps、24fps、30fps等。

音视频采样后会给每个音频采样、视频帧打一个时间戳，打包成RTP后放在RTP头中，称为RTP时间戳，RTP时间戳的单位依赖于音视频流各自的采样率。

1.1.1 RTP Header

RTP Header格式如下：

V：RTP协议的版本号，占2位，当前协议版本号为2

P（Padding）：填充标志，占1位，如果P=1，则在该报文的尾部填充一个或多个额外的八位组，它们不是有效载荷的一部分

X：扩展标志，占1位，如果X=1，则在RTP报头后跟有一个扩展报头

CC：CSRC计数器，占4位，指示CSRC 标识符的个数

M: 标记，占1位，不同的有效载荷有不同的含义，对于视频，标记一帧的结束；对于音频，标记会话的开始

PT: 有效荷载类型，占7位，用于说明RTP报文中有效载荷的类型，如GSM音频、JPEG图像等，在流媒体中大部分是用来区分音频流和视频流的，这样便于客户端进行解析

序列号：占16位，用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1。这个字段当下层的承载协议用UDP的时候，网络状况不好的时候可以用来检查丢包。同时出现网络抖动的情况可以用来对数据进行重新排序，序列号的初始值是随机的，同时音频包和视频包的sequence是分别记数的。

时间戳(Timestamp)：占32位，每个流中的时间戳可以是独立的，时间戳反映了该RTP报文的第一个八位组的采样时刻。接收者使用时间戳来计算延迟和延迟抖动，并进行同步控制。视频流通常使用 90 kHz 时钟频率

同步信源(SSRC)标识符：占32位，用于标识同步信源。该标识符是随机选择的，参加同一视频会议的两个同步信源不能有相同的SSRC

特约信源(CSRC)标识符：每个CSRC标识符占32位，可以有0～15个。每个CSRC标识了包含在该RTP报文有效载荷中的所有特约信源

1.1.2音频时间戳

音频时间戳的单位就是采样率的倒数，例如采样率48000Hz，即48000个采样/秒，每个采样1/48ms，每个采样对应一个时间戳。RTP音频包一般打包20ms的数据，对应的采样数为 48000 * 20 / 1000 = 960，也就是说每个音频包里携带960个音频采样（即n为960），因为1个采样对应1个时间戳，那么相邻两个音频RTP包的时间戳之差就是960。

1.1.3 音频时间戳生成

WebRTC的音频帧的时间戳，未打包之前是从第一个包为0开始累加，每一帧增加编码帧长(ms) x采样率/ 1000，如果采样率48000Hz，编码帧长20ms，则每个音频帧的时间戳递增960（即20 x 48000/1000），若采样率为16000Hz，则每个音频帧的时间戳是320。

封装到 RTP 包里面的时候，会将这个音频帧的时间戳再累加上一个随机偏移量（构造函数里生成），然后作为此 RTP 包的时间戳，发送出去。

音频时间戳生成代码实现：

1）采集的时间戳

2）封装到RTP包累加上一个随机偏移量

1.1.4 视频时间戳

视频时间戳一般是采用90kHz时钟频率，即单位为1/90000秒，但是90000并不是视频的采样率，而只是一个单位，帧率才是视频的采样率。

1）视频帧（H.264）打包方式不同

单NALU分组（Single NAL Unit Packet）：一个分组只包含一个NALU，单独打包成一个RTP包那么RTP时间戳就对应这个帧的采集时间。

聚合分组（Aggregation Packet）：一个分组包含多个

NALU。如果某帧较大不能单独打包，但是该帧内部单独的NALU比较小&