RTSP 音视频play同步分析

基础理论

RTSP RTP RTCP SDP基础知识-优快云博客

关于RTP的时间戳知识点回顾

时间戳单位：时间戳计算的单位不是秒，而是采用采样频率的倒数，这样做的目的是为了使时间戳单位更为精准。比如说一个音频的采样频率为8000Hz，那么我们可以把时间戳单位设为1/8000s。

时间戳增量：相邻两个RTP包之间的时间差(以时间戳单位为基准)

采样频率： 每秒钟抽取样本的次数，例如音频的采样率一般为8000Hz，即每秒采样8000次，产生8000个样本

帧率： 每秒传输或者显示帧数，例如25f/s

    小结：

         时间戳反映了RTP分组中的数据的第一个字节的采样时刻。在一次会话开始时的时间戳初值也是随机选择的。即使是没有信号发送时，时间戳的数值也要随时间不 断的增加。接收端使用时间戳可准确知道应当在什么时间还原哪一个数据块，从而消除传输中的抖动。时间戳还可用来使视频应用中声音和图像同步。

        在RTP协议中并没有规定时间戳的粒度，这取决于有效载荷的类型。因此RTP的时间戳又称为媒体时间戳，以强调这种时间戳的粒度取决于信号的类型。例如，对于8kHz采样的音频信号，若每隔20ms构成一个数据块，则一个数据块中包含有160个样本（0.02×8000=160）。因此每发送一个RTP分组，其时间戳的值就增加160。

        如果采样频率为90000Hz，则时间戳单位为1/90000，我们就假设1s钟被划分了90000个时间块，那么，如果每秒发送25帧，那么，每一个帧的发送占多少个时间块呢？当然是 90000/25 = 3600。因此，我们根据定义“时间戳增量是发送第二个RTP包相距发送第一个RTP包时的时间间隔”，故时间戳增量应该为3600。

1,时间戳可用来使视频应用中声音和图像同步，为什么呢？

首先，这个时间戳就是一个值且必须满足大家都来使用这个值，用来反映某个数据块的产生(采集)时间点的， 后采集的数据块的时间戳肯定是大于先采集的数据块的。有了这样一个时间戳，就可以标记数据块的先后顺序。
第二，在实时流传输中，数据采集后立刻传递到RTP 模块进行发送，那么，其实，数据块的采集时间戳就直接作为RTP包的时间戳。
第三，如果用RTP来传输固定的文件，则这个时间戳 就是读文件的时间点，依次递增。这个不再我们当前的讨论范围内，暂时不考虑。

rtsp时间戳类型

在分析音视频同步之前，我们先知道都有哪几类的时间戳。

• RTP 包中的 rtptime：这是 RTP 协议中用于同步媒体流的关键字段。它表示的是分组中数据的第一个字节的采样时间