音视频同步原理

最新推荐文章于 2024-12-19 00:34:24 发布

转载最新推荐文章于 2024-12-19 00:34:24 发布 · 1.2k 阅读

文章标签：

#audio #video #output #c

音视频专栏收录该内容

6 篇文章

订阅专栏

本文详细解析了AV同步代码中输出数据时间戳的生成过程，包括音频和视频时间戳的计算方法及FFmpeg编码后的时间戳转换。重点介绍了如何通过比较时间戳实现音频与视频的交错输出，确保播放时的同步性。

output_example.c 中AV同步的代码如下

/* compute current audio and video time */
if (pOutputVars->pOutAudio_st)//存在音频流
 pOutputVars->audio_pts = (double)pOutputVars->pOutAudio_st->pts.val * pOutputVars->pOutAudio_st->time_base.num / pOutputVars- >pOutAudio_st->time_base.den; //(pts是时间戳结构)输出音频的时间戳, 转换为基准时间
else
 pOutputVars->audio_pts = 0.0;
if (pOutputVars->pOutVideo_st)
 pOutputVars->video_pts = (double)pOutputVars->pOutVideo_st->pts.val * pOutputVars->pOutVideo_st->time_base.num / pOutputVars- >pOutVideo_st->time_base.den;//输出视频时间戳
else
 pOutputVars->video_pts = 0.0;
if (!pOutputVars->pOutAudio_st && !pOutputVars->pOutVideo_st)
 return 0;
/* write interleaved audio and video frames */
if (!pOutputVars->pOutVideo_st || (pOutputVars->pOutVideo_st && pOutputVars->pOutAudio_st && pOutputVars->audio_pts < 
 pOutputVars->video_pts)) {
 write_audio_frame(pOutputVars->pOutFormatCtx, pOutputVars->pOutAudio_st, pInputAudioBuf);//没有视频流，或者音频流时间没赶上视频流
（通过比较时间戳), 则输出（编码输出）音频祯数据
 } else {
 write_video_frame(pOutputVars->pOutFormatCtx, pOutputVars->pOutVideo_st, pInputVedioFrame);//否则输出视频祯数据
}

输出数据的时间戳怎么得到的, 以音频为例:
   pkt.size= avcodec_encode_audio(c, audio_outbuf, audio_outbuf_size, pInputAudioBuf);//源数据应该包含时间戳, pInputAudio是源文
件解码后的音频数据
   pkt.pts= av_rescale_q(c->coded_frame->pts, c->time_base, st->time_base);//编码后的祯也含有源文件的时间戳，这个函数应该是转换同时
间基准，没研究过
   pkt.flags |= PKT_FLAG_KEY;
   pkt.stream_index= st->index;
   pkt.data= audio_outbuf;
...

应该就是这么个过程了，然后用av_write_frame(oc, &pkt), 把音频祯和视频祯交错写入到输出文件. 通过上面分析，可以看到，有时候可能连续写几个音频
祯或视频祯. 
播放时的同步可能ffplay中有