FFmpeg基础:音视频同步播放

已于 2022-11-06 16:12:52 修改
阅读量2.6k 收藏 15
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 音视频处理 文章标签： 1024程序员节 音视频 ffmpeg 编码解码 流媒体
于 2022-10-24 08:00:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yang1fei2/article/details/127484528
本文通过FFmpeg实现音视频同步，以音频时钟为参考，调整视频播放速度，确保视频同步到音频上。程序包括全局数据类定义、数据队列、SDL库初始化、音视频流解析、解封装线程、视频解码线程和音视频解码函数等关键步骤，最终形成一个基础播放器的框架。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


视频文件解复用之后视频流和音频流是独立的，也是独立播放。由于压缩方式不同，数据格式不同，在播放的时候音频流输出是线性的而视频流输出不是线程的，这就会导致视频流和音频流的时间偏差越来越大，最终导致音视频不同步。

为了解决这个问题，我们在播放视频文件的时候需要调整音频或者视频的播放速度，来实现两种数据的同步。考虑到人对声音的敏感度要强于视频，频繁调节音频会带来较差的观感体验，且音频的播放时钟为线性增长，所以一般会以音频时钟为参考时钟，将视频同步到音频上。

这里以一个将视频流同步到音频流上的例子来说明一下音视频同步的实现方式。程序的架构图如下图所示:
在这里插入图片描述

定义全局数据类

首先定义全局数据类，用于不同线程之间的数据共享。主要数据结构VideoState记录了音视频文件的各种上下文参数。

//define.h
#ifndef _DEFINE_H_
#
了解本专栏 订阅专栏 解锁全文 超级会员免费看
FFmpeg 播放器实现音视频同步
金戈鐡馬
03-06 1196
我们基于 FFmpeg 利用 OpenGL ES 和 OpenSL ES 分别实现了对解码后视频和音频的渲染，本文将实现播放器的最后一个重要功能：音视频同步。老人们经常说，播放器对音频和视频的播放没有绝对的静态的同步，只有相对的动态的同步，实际上音视频同步就是一个“你追我赶”的过程。音视频的同步方式有 3 种，即：音视频分别向系统时钟同步、音频向视频同步及视频向音频同步。
FFMPEG开发快速入坑——附录一：音视频同步
qq_52703909的博客
01-18 1591
媒体播放器在播放时的处理逻辑：1、音频帧正常顺序播放，音频播放时间作为基准时钟2、视频帧在解码后，根据基准时钟来调整当前处理：（2.1）视频帧PTS > 基准时钟： 根据时间差异计算视频帧显示延时（2.2）视频帧PTS < 基准时钟 < 下一GOP点：丢弃当前帧，直接依次解码后续帧（2.3）视频帧PTS < 下一GOP点 < 基准时钟：直接调整到下一GOP开始I帧，依次解码。
ffmpeg 如何音视频同步
热门推荐
knight
04-21 2万+
output_example.c 中AV同步的代码如下(我的代码有些修改)，这个实现相当简单，不过挺说明问题。 音视频同步方法：选择一个参考时钟，参考时钟上的时间是线性递增的，生成数据流时依据参考时钟上的时间给每个数据块 都打上时间戳（一般包括开始时间和结束时间）。在播放时，读取数据块上的时间戳，同时参考当前参考时钟上的时间来安 排播放。数据流不会发生参考关系。   步骤: 1,
FFmpeg 音视频同步
清澈见底的专栏
07-11 981
原地址：http://www.jianshu.com/p/27279255f67e 音视频播放器的工作的具体流程如下图所示： 播放器工作流程 简单的来说包括：解协议，解封装，对音频和视频分别进行解码，音视频同步播放这几个部分，各部分详细解释请看后面参考资料。由于我们是分别解码和播放音频和视频的，所以各自播放的节奏需要同步，否则会出现音画不一致的情况。本文主要介绍一个简单的音视
ffmpeg合并时音画不同步问题及音频软编码实现记录
最新发布
weixin_41524267的博客
05-27 17
最近因为耳机3.5mm接口的一些干扰问题，舍弃了之前的接入方式，需要重新实现网络音频流的接入，在这个过程中遇到了一些问题，特来记录一下~这里使用的是ffmpeg的autogen库实现的，这个开源的库可以更为灵活的实现音视频的操作（当然就是复杂了一些~）
ffmpeg 音视频同步
07-07
ffmepg 实现录制音视频数据，保证音视频同步，希望对大家有用
FFmpeg音视频同步
irainsa的博客
11-03 440
从前面的学习可以知道，在一个视频文件中，音频和视频都是单独以一条流的形式存在，互不干扰。那么在播放时根据视频的帧率（Frame Rate）和音频的采样率（Sample Rate）通过简单的计算得到其在某一Frame（Sample）的播放时间分别播放，**理论**上应该是同步的。但是由于机器运行速度，解码效率等等因素影响，很有可能出现音频和视频不同步，例如出现视频中人在说话，却只能看到人物嘴动却没有声音，非常影响用户观看体验。如何做到音视频同步？
Javacv使用ffmpeg实现音视频同步播放
08-28
ffmpeg音视频同步播放使用Javacv Javacv使用ffmpeg实现音视频同步播放是通过FFmpegFrameGrabber帧捕捉器来捕捉音频和视频帧，然后使用生产者消费者模式来播放音频和视频帧。下面是相关的知识点： 1. ...
video_demo:ffmpeg简单实现音视频同步播放
03-18
译文：C ++用FFmpeg和SDL实现音视频同步播放服务，包括直播，点播，播放本地视频ZasLeonPlayer 代码依旧存在的问题：播放mp3时，显示的图片会失真。。。 环境： Windows 7的 Visual Studio 2010 FFmpeg-n4.3.1-30-...
FFmpeg 开发(06)：FFmpeg 播放器实现音视频同步的三种方式
yinshipin007的博客
05-20 1828
前文中，我们基于 FFmpeg 利用 OpenGL ES 和 OpenSL ES 分别实现了对解码后视频和音频的渲染，本文将实现播放器的最后一个重要功能：音视频同步。 老人们经常说，播放器对音频和视频的播放没有绝对的静态的同步，只有相对的动态的同步，实际上音视频同步就是一个“你追我赶”的过程。 音视频的同步方式有 3 种，即：音视频向系统时钟同步、音频向视频同步及视频向音频同步。 音视频解码器结构 在实现音视频同步之前，我们先简单说下本文播放器的大致结构，方便后面实现不同的音视频同步方式。 .
ffmpeg音视频同同步
09-04
将ffmpeg_play的同步代码,移植成MFC会话框程序,同时使用GDI显示,去掉SDL显示方式,同时克服console程序视频解码时发生中断的情况. 编译环境vs2005..
ffmpeg音视频同步Demo
10-30
Windows平台上的音视频同步Demo，原作者博客链接：http://www.cnblogs.com/wangguchangqing/p/5900426.html，下载的工程文件不能编译通过，这个问题新手会很头疼，我修改并重新配置了工程，下载即可编译通过，使用VS2012等IDE打开
音视频同步-ffmpeg
u013220323的专栏
04-26 2776
音视频同步肯定是需要使用时间戳进行同步的，音频和视频的时间戳进行对比，哪个小就写入哪个包，基本上可以实现音视频同步。 但是这个时间戳从哪里来呢？ 使用rtp头中携带的时间戳是最正确的方法，因为音视频流发出的时候，将时间戳写入到了rtp头中。不管网络是否有阻塞、丢帧等问题，使用此时间戳进行同步，最终生成的视频文件中音频和视频都是同步的，且视频长度也正常。在此记录一下 使用ffmpeg直接接收rtp视频和音频媒体流，再将rtp包中的时间戳转换一下，即可实现音视频同步； ...
ffmpeg音视频同步
qq_34823218的博客
06-10 1301
解复用将媒体数据分离为音频和视频 AVStream->(A/V)packet -> （A/V）frame pts:AVStream->time_base为单位 pts:AVStream->time_base为单位 dts:AVStream->time_base为单位 duration:AVStream->time_base为单位 duration...
FFmpeg简易播放器的实现-音视频播放
weixin_33924220的博客
01-07 464
本文为作者原创，转载请注明出处：https://www.cnblogs.com/leisure_chn/p/10235926.html 基于FFmpeg和SDL实现的简易视频播放器，主要分为读取视频文件解码和调用SDL播放两大部分。 前面三个实验分别实现了最简播放、视频播放和音频播放，本次实验将视频播放和音频播放结合在一起。 FFmpeg简易播放器系列文章如下： [1]. FFmpeg简易播放器的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农飞飞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值