Android FFmpeg系列——5 音视频同步播放

关注

原创最新推荐文章于 2025-11-04 14:32:17 发布 2.1k 阅读 AI 写同款· GEO 优化 ›

FFmpeg中PTS与DTS详解 FFmpeg中PTS与DTS详解一、PTS与DTS简介二、时间基(time_base)简介一、PTS与DTS简介 Decode Time Stamp(DTS)是解码时间戳，解码器解码时相对于SCR(系统参考)的时间戳。 Presentation Time Stamp(PTS)是渲染时间戳，解码器渲染时相对于SCR(系统参考)的时间戳。 duration是视频时长，表示当前帧的持续时间，或者说两... 阅读详情

Android FFmpeg系列——0 编译.so库
 Android FFmpeg系列——1 播放视频
 Android FFmpeg系列——2 播放音频
 Android FFmpeg系列——3 C多线程使用
 Android FFmpeg系列——4 子线程播放音视频
 Android FFmpeg系列——5 音视频同步播放
 Android FFmpeg系列——6 Java 获取播放进度
 Android FFmpeg系列——7 实现快进/快退功能

音视频同步播放是做播放器的难点之一，在博主用到的播放器中，有一款播放器我真的无法忍受，那就是百度云播放器！这里我真的得吐槽一下，卡顿之后，然后视频可以正常播放，但是没有声音，声音竟然没了！！你这么一个大厂，连这点都搞不定？！而且我还提过2次建议（因为实在忍不了，但是又必须得用），也不是出现的概率很低，真搞不明白！！好啦，吐槽完了，回归正题，我们来学习怎么实现音视频用不播放！

首先，我们得先了解几个概念，只有了解了这几个东西，我们才容易理解实现音视频同步流程。

概念

时间戳

在 FFmpeg 中，有2个时间戳需要我们注意的：DTS（Decoding Time Stamp，解码时间戳）和 PTS（Presentation Time Stamp，显示时间戳）。

DTS 表示压缩数据应该什么时候被解码；PTS 表示解码数据应该什么时候被显示；对于视频来说，AVFrame就是视频的一帧图像。这帧图像什么时候显示给用户，就取决于它的PTS。

但是为什么需要两个时间戳呢？来，我们再了解一下视频帧相关知识。

I，P，B 帧

视频压缩中，每帧代表一幅静止的图像。而在实际压缩时，会采取各种算法减少数据的容量，其中IPB就是最常见的。简单地说，I帧是关键帧，属于帧内压缩，解码时单独的该帧便可完成解码；P帧为向前预测编码帧，即P帧解码时需要参考前面相关帧的信息才能解码；B帧为双向预测编码帧，解码时既需要参考前面已有的帧又需要参考后面待解码的帧；他们都是基于I帧来压缩数据。

I帧表示关键帧，又称intra picture，I帧画面完整保留，解码时只需要本帧数据就可以完成（因为包含完整画面）。

P帧前向预测编码帧又称predictive-frame，表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）

B帧双向预测内插编码帧又称bi-directional interpolated prediction frame，是双向差别帧，也就是B帧记录的是本帧与前后帧的差别，换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累。

因此，I帧和P帧的解码算法比较简单，资源占用也比较少，I帧只要自己完成就行了，至于P帧，也只需要解码器把前一个画面缓存一下，遇到P帧时就使用之前缓存的画面就行。如果视频流只有I和P，解码器可以不管后面的数据，边读边解码，线性前进。如果视频流还有B帧，则需要缓存前面和当前的视频帧，待后面视频帧获得后，再解码。

再回到我们之前的问题，为什么需要2个时间戳，举个例子：

对于一个电影，帧是这样来显示的：I B B P。由于显示B帧之前知道P帧中的信息，因此，帧可能会按照这样的方式来存储：I P B B。


Stream	I	P	B	B
PTS	1	4	2	3
DTS	1	2	3	4

这下你该懂了吧！！

音视频同步方式

要实现音视频同步，通常需要选择一个参考时钟，参考时钟上的时间是线性递增的，编码音视频流时依据参考时钟上的时间给每帧数据打上时间戳。在播放时，读取数据帧上的时间戳，同时参考当前参考时钟上的时间来安排播放。这里的说的时间戳就是我们前面说的 PTS。

一般来说有三种音视频同步方式 :

音频同步到视频
视频同步到音频
音视频同步到外部时间

在音频的播放中，也有 DTS、PTS 的概念，但是音频没有类似视频中 B 帧，不需要双向预测，所以音频帧的 DTS、PTS 顺序是一致的。

所以在一般情况下，我们可以把视频同步到音频上，实现音视频的同步。

在实现代码之前，我们有几个函数需要了解一下，不然会看得一脸懵逼。

时间基

虽然知道了 PTS 是显示时间戳，AVPacket 里面有 pts 这个属性，你知道 pts 这个值的单位是什么吗？要想知道 pts 值的单位是什么，我们得知道时间基的概念，也就是 time_base，它也是用来度量时间的。

// time_base 表示方法
typedef struct AVRational{
	int num; //numerator   分子
	int den; //denominator 分母
} AVRational;

如果把1秒分为25等份，你可以理解就是一把尺，那么每一格表示的就是1/25秒，此时的time_base={1，25} 。
如果把1秒分成90000等份，每一个刻度就是1/90000秒，此时的time_base={1，90000}。
所谓时间基表示的就是每个刻度是多少秒，pts的值就是占多少个时间刻度（占多少个格子）。它的单位不是秒，而是时间刻度。只有pts加上time_base两者同时在一起，才能表达出时间是多少。

好比我只告诉你，某物体的长度占某一把尺上的20个刻度。但是我不告诉你，这把尺总共是多少厘米的，你就没办法计算每个刻度是多少厘米，你也就无法知道物体的长度。

pts=20个刻度
time_base={1,10} 每一个刻度是1/10厘米
所以物体的长度=ptstime_base=201/10 厘米

在 FFmpeg 中，函数av_q2d(time_base)=每个刻度是多少秒

static inline double av_q2d(AVRational a)｛
	/**
	* Convert rational to double.
	* @param a rational to convert
	**/
    return a.num / (double) a.den;
}

所以**pts*av_q2d(time_base)**才是帧的显示时间戳（PTS）。

实现音视频同步

我是基于上一节代码继续加了，看不懂的可以看我上一节的博文。

思路已经很清晰了，就是音频正常播放，然后让视频播放速度做调整！

C 层结构播放器结构

// C 层播放器结构体
typedef struct _Player {
    ...
    // 音频相关
    ...
    double audio_clock;
    ...
} Player;

音频添加一个属性，音频时钟，用于记录！

音频时钟

因为我们参考是音频，音频的 PTS 顺序是递增的，所以可以直接获取：

// 消费函数
// 获取 packet 解码之后
player->audio_clock = packet->pts * av_q2d(stream->time_base);
// 播放音频

直接使用 packet 的 pts，乘以时间基。

视频同步

// 消费函数
// 获取 packet 解码之后
 double audio_clock = player->audio_clock;
 double timestamp;
 if(packet->pts == AV_NOPTS_VALUE) {
     timestamp = 0;
 } else {
     timestamp = av_frame_get_best_effort_timestamp(frame) * av_q2d(stream->time_base);
 }
 double frame_rate = av_q2d(stream->avg_frame_rate);
 frame_rate += frame->repeat_pict * (frame_rate * 0.5);
 if (timestamp == 0.0) {
     usleep((unsigned long)(frame_rate * 1000));
 }else {
     if (fabs(timestamp - audio_clock) > AV_SYNC_THRESHOLD_MIN &&
         fabs(timestamp - audio_clock) < AV_NOSYNC_THRESHOLD) {
         if (timestamp > audio_clock) {
             usleep((unsigned long)((timestamp - audio_clock)*1000000));
         }
     }
 }
// 播放视频