嵌入式音视频开发（二）ffmpeg音视频同步

原创 已于 2025-02-18 18:14:20 修改
· 1.6k 阅读 · 19 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#音视频 #ffmpeg

于 2025-02-18 12:17:30 首次发布

系列文章目录

嵌入式音视频开发（零）移植ffmpeg及推流测试
嵌入式音视频开发（一）ffmpeg框架及内核解析
嵌入式音视频开发（二）ffmpeg音视频同步
嵌入式音视频开发（三）直播协议及编码器

文章目录

前言

  前文中已经讲述了音视频处理的流程，需要我们将音频数据和视频数据分开处理，这个时候我们就需要音视频同步操作。

一、音视频同步

  我们平常看视频的时候最烦恼的就是各种音画不同步，例如音频是100ms延时而视频需要150ms延时才能到达，这其中我们就需要进行音视频同步来解决这个问题。 音视频同步是多媒体处理中的一个关键问题，常用方法包括三种不同的同步策略：以视频为基准、以音频为基准和以外部时钟为基准。

1.1 基础概念

  在FFmpeg进行音视频解码时，PTS (Presentation Time Stamp) 是一个非常重要的概念，它表示每一帧数据（音频帧或视频帧）的展示时间，即该帧应该在播放设备上显示的精确时间。
  时间基（Timebase）是一个分数，表示每秒的时间单位。它用于将 PTS和 DTS（从基于时钟滴答的计数转换为实际的时间（秒）。常见的表示形式为 1/fps 或 1/sample_rate例如，假设视频流的时间基准是1/90000，那么每个时间单位代表1/90000秒。因此，PTS值为90000时，相当于1秒。实际上ffmpeg内部存在多种时间基，在不同的阶段（结构体）中，对应的时间基的值都不相同。

表示方法结构体描述作用
time_baseAVStream流的时间基用于将 PTS 和 DTS 转换为实际时间
time_baseAVCodecContext编码器或解码器的时间基用于内部处理和同步
video_codec_timebase audio_codec_timebaseAVFormatContext格式上下文的时间基用于整体管理和同步

  值得注意的是，虽然 AVPacket 和 AVFrame 本身没有直接的时间基字段，但它们的时间戳（PTS 和 DTS）是基于其所属流的时间基来解释的。

  时间戳可以简单理解为计时器，用于记录或设置对应时间点的操作。在 FFmpeg 中，时间戳用于同步音视频帧的播放时间。时间戳的计算公式如下：

  • timestamp（ffmpeg 内部时间戳） = PTS * 时间基
  • time（秒） = PTS * 时间基

  例如，假设我们有一个视频流，其时间基为 1/90000，若某帧的 PTS 值为 90000，则该帧的实际展示时间为time（秒） = PTS * 时间基 = 90000 * (1/90000) = 1 秒

1.2 三种同步方法

  这里先简单举个例子，例如下图所示，原本的视频应在0.080秒有一帧，但是现在出现了掉帧，此时对应音频就需要加速播放或者也相应丢一帧。简单来说就是，以谁为基准就由谁来维护时间轴。
在这里插入图片描述
  （1）以视频为基准：视频被视为主要的同步标准，音频的播放时间会根据视频帧的时间戳来进行调整。如果音频的播放时间比视频快，系统会延迟音频的播放，为避免过多积压可能会丢弃部分音频帧；如果音频播放落后于视频，系统会通过延时音频的播放来保证同步。
  （2）以音频为基准：以音频为基准时，视频会根据音频的时间戳进行调整。如果视频的播放时间比音频快，系统会延迟视频的播放，直到音频达到相应的时间点；而视频播放落后于音频，系统会加速视频的播放，丢掉部分视频帧，从而保证音视频同步。
  （3） 以外部时钟为基准：外部时钟同步是一种更为综合的方式，它使用一个外部时钟（例如系统时钟或硬件时钟）来同时控制音频和视频的播放。外部时钟会提供一个精确的时间基准，视频和音频都需要根据这个时钟进行调整。

二、音视频同步的实现

2.1 时间基的转换问题

  前面提到了ffmpeg内部存在多种时间基，在不同的阶段（结构体）中，对应的时间基的值都不相同，此外视频流的时间基和音频流的时间基也不同。通常情况下需要使用av_q2d()函数将AVRational 类型的时间基（Timebase）转换为双精度浮点数（double）。AVRational 是一个表示分数的结构体，通常用于表示时间基、帧率等需要精确表示的比率。

typedef struct AVRational {
    int num; ///< 分子 (numerator)
    int den; ///< 分母 (denominator)
} AVRational;

// 通过 av_q2d 函数将时间基转换为浮点数后，可以将其乘以 PTS 或 DTS 来得到实际时间
double av_q2d(AVRational q) {
    return q.num / (double)q.den;
}

2.2 音频为基准

  音频为基准和视频为基准在实现逻辑上差不多，这里以音频为例。

2.2.1 实现思路

  以音频为基准进行同步的基本思路是：

  1. 选择音频流作为同步基准
  2. 解码音频数据并更新当前音频时间戳
  3. 解码视频数据并根据音频时间戳调整视频帧的显示时间，确保音视频同步
  4. 通过适当的缓冲控制，确保播放的流畅性和稳定性

2.2.2 代码大纲

int main{
	// 初始化 FFmpeg 库
	av_register_all();
	AVFormatContext *fmt_ctx = NULL;

	// 打开输入文件并获取流信息
	if (open_input_file(&fmt_ctx, "input.mp4") < 0) {
  		return -1;
	}

	// 查找音视频流并初始化解码器
	int audio_stream_idx = find_stream(fmt_ctx, AVMEDIA_TYPE_AUDIO);
	int video_stream_idx = find_stream(fmt_ctx, AVMEDIA_TYPE_VIDEO);

	AVCodecContext *audio_dec_ctx = init_decoder(fmt_ctx, audio_stream_idx);
	AVCodecContext *video_dec_ctx = init_decoder(fmt_ctx, video_stream_idx);

	// 循环读取数据包并同步播放
	AVPacket pkt;
	while (read_packet(fmt_ctx, &pkt) >= 0) {
	    if (pkt.stream_index == audio_stream_idx) {
	      	  process_audio_packet(&pkt, audio_dec_ctx);
  	  	} else if (pkt.stream_index == video_stream_idx) {
	       	 process_video_packet(&pkt, video_dec_ctx, audio_dec_ctx->time_base);
   	 	}
    	av_packet_unref(&pkt);
	}
	
	// 清理资源
	cleanup(fmt_ctx, audio_dec_ctx, video_dec_ctx);
}

// 解码音频数据包并更新当前音频时间戳
void process_audio_packet(AVPacket *pkt, AVCodecContext *dec_ctx) {
    int ret = avcodec_send_packet(dec_ctx, pkt);
    if (ret < 0) {
        fprintf(stderr, "Error sending a packet for decoding\n");
        return;
    }

    while (ret >= 0) {
        ret = avcodec_receive_frame(dec_ctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
            break;
        else if (ret < 0) {
            fprintf(stderr, "Error during decoding\n");
            break;
        }

        // 更新当前音频时间戳
        update_current_audio_pts(frame->pts, dec_ctx->time_base);
    }
}

void update_current_audio_pts(int64_t pts, AVRational time_base) {
    double pts_in_seconds = pts * av_q2d(time_base);
    current_audio_pts = pts_in_seconds;
}

void process_video_packet(AVPacket *pkt, AVCodecContext *dec_ctx, AVRational audio_time_base) {
    int ret = avcodec_send_packet(dec_ctx, pkt);
    if (ret < 0) {
        fprintf(stderr, "Error sending a packet for decoding\n");
        return;
    }

    while (ret >= 0) {
        ret = avcodec_receive_frame(dec_ctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
            break;
        else if (ret < 0) {
            fprintf(stderr, "Error during decoding\n");
            break;
        }

        // 获取视频帧的 PTS 并转换为秒
        double video_pts_in_seconds = frame->pts * av_q2d(dec_ctx->time_base);

        // 根据音频时间戳调整视频帧的显示时间
        sync_video_to_audio(video_pts_in_seconds, audio_time_base);
    }
}

void sync_video_to_audio(double video_pts, AVRational audio_time_base) {
    while (video_pts > current_audio_pts) {
        usleep(1000); // 简单的等待机制
        // 更新当前音频时间戳
        current_audio_pts = get_current_audio_pts(audio_time_base);
        // 其他操作
    }
}

double get_current_audio_pts(AVRational audio_time_base) {
    // 这里应该实现一个函数来获取最新的音频时间戳
    // 例如通过解码更多的音频帧或使用其他方法
    return current_audio_pts;
}

2.3 外部时钟同步

2.3.1 实现思路

  以外部时钟为基准进行同步的基本思路是：

  1. 使用外部时钟（如系统时钟）作为基准
  2. 解码音频数据包，根据外部时钟调整音频播放时间
  3. 解码视频数据包，根据外部时钟调整视频帧的显示时间
  4. 通过适当的缓冲控制，确保播放的流畅性和稳定性

2.3.2 代码大纲

  这里的代码和上文差不多，只有调整部分的逻辑不太一样：

// 获取当前外部时钟时间（秒）
double get_external_clock() {
    struct timespec now;
    clock_gettime(CLOCK_MONOTONIC, &now); // 使用单调递增的时钟避免系统时间变化的影响
    double elapsed = (now.tv_sec - start_time.tv_sec) + (now.tv_nsec - start_time.tv_nsec) / 1e9;
    return elapsed;
}

// 解码音频数据包并根据外部时钟调整音频播放时间
void process_audio_packet(AVPacket *pkt, AVCodecContext *dec_ctx) {
    int ret = avcodec_send_packet(dec_ctx, pkt);
    if (ret < 0) {
        fprintf(stderr, "Error sending a packet for decoding\n");
        return;
    }

    while (ret >= 0) {
        ret = avcodec_receive_frame(dec_ctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
            break;
        else if (ret < 0) {
            fprintf(stderr, "Error during decoding\n");
            break;
        }

        // 将音频帧的时间戳转换为秒
        double audio_pts_in_seconds = frame->pts * av_q2d(dec_ctx->time_base);

        // 根据外部时钟调整音频帧的播放时间
        sync_audio_to_external_clock(audio_pts_in_seconds, dec_ctx->time_base);
    }
}

void sync_audio_to_external_clock(double audio_pts, AVRational time_base) {
    double external_clock_time = get_external_clock(); // 获取外部时钟时间（秒）

    // 等待直到音频帧应该播放的时间
    while (audio_pts > external_clock_time) {
        usleep(1000); // 简单的等待机制
        external_clock_time = get_external_clock();
    }
    // 其他操作
}

void process_video_packet(AVPacket *pkt, AVCodecContext *dec_ctx, AVRational audio_time_base) {
    int ret = avcodec_send_packet(dec_ctx, pkt);
    if (ret < 0) {
        fprintf(stderr, "Error sending a packet for decoding\n");
        return;
    }

    while (ret >= 0) {
        ret = avcodec_receive_frame(dec_ctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
            break;
        else if (ret < 0) {
            fprintf(stderr, "Error during decoding\n");
            break;
        }

        // 获取视频帧的 PTS 并转换为秒
        double video_pts_in_seconds = frame->pts * av_q2d(dec_ctx->time_base);

        // 根据外部时钟调整视频帧的显示时间
        sync_video_to_external_clock(video_pts_in_seconds, dec_ctx->time_base);
    }
}

void sync_video_to_external_clock(double video_pts, AVRational video_time_base) {
    double external_clock_time = get_external_clock(); // 获取外部时钟时间（秒）

    // 等待直到视频帧应该显示的时间
    while (video_pts > external_clock_time) {
        usleep(1000); // 简单的等待机制
        external_clock_time = get_external_clock();
    }
    // 其他操作
}

免责声明：本文参考了网上公开的部分资料，仅供学习参考使用，若有侵权或勘误请联系笔者

Qt/C++音视频开发09-ffmpeg内核音视频同步
Qt/C++视频监控/推流/物联网/大屏系统/自定义控件/UI定制/输入法
01-04 1653
用ffmpeg来做音视频同步，个人认为这个是ffmpeg基础处理中最难的一个，无数人就卡在这里，怎么也不准，本人也是尝试过网上各种demo，基本上都是渣渣，要么仅仅支持极其少量的视频文件比如收到的数据包是一帧视频一帧音频的，要么根本没法同步歪七八糟的，要么进度跳过去直接蹦蹦蹦崩溃的，其实最完美的音视频同步处理demo就是ffplay，我亲测过几十种各种各样的音视频本地文件，数十种视频流文件，都是非常完美，当然啦这是亲生的啦，不完美还玩个屁。
Qt/C++ 音视频开发 - FFmpeg播放器
走向CTO的路上...
09-23 879
Qt和FFmpeg的结合可以创建功能丰富、高效的音视频播放器。通过充分利用Qt的GUI设计和FFmpeg的多媒体处理能力，可以满足各种应用需求。
ffmpeg 如何音视频同步
暂时为空
06-05 1863
output_example.c 中AV同步的代码如下(我的代码有些修改)，这个实现相当简单，不过挺说明问题。 音视频同步方法：选择一个参考时钟，参考时钟上的时间是线性递增的，生成数据流时依据参考时钟上的时间给每个数据块 都打上时间戳（一般包括开始时间和结束时间）。在播放时，读取数据块上的时间戳，同时参考当前参考时钟上的时间来安 排播放。数据流不会发生参考关系。   步
音视频&流媒体第七天——FFmpeg视频播放器开发：音视频同步（三）
Qing__er的博客
03-14 275
视频显示，音频播放，现在基本都完成了，后面几篇会介绍其它功能实现。代码还做了其它细微的改动，就不多说了，可以下载源码自行阅读学习。(1) 需要实现QSlider的按下，放开等几个。Qt定时器类不会使用的，自行百度，这里不做讲述。，以及链接信号槽，再用定时器来实现计时。在头文件FFVideoPlyer.h添加。(2) 每个时刻的关键帧如何确定？
QT-c++使用FFMpeg库实现音视频同步的方法
Yitzhan的博客
04-11 540
使用SwrContext进行音频重采样，将解码后的音频数据转换为适合播放的格式。时间戳计算：FFMpeg中的时间戳是以时间基（AVRational）为单位的，需要使用av_q2d函数将其转换为秒。线程安全：在实际应用中，音频和视频的解码和播放可能需要在不同的线程中进行，以避免阻塞主线程。错误处理：FFMpeg的函数调用可能会返回错误码，需要进行适当的错误处理，确保程序的健壮性。的方式，即以音频的播放时间为基准来调整视频的播放。以音频的播放时间为基准，调整视频帧的显示时间。// 查找音频和视频解码器。
ffmpeg音视频同步
qq_34823218的博客
06-10 1298
解复用将媒体数据分离为音频和视频 AVStream->(A/V)packet -> （A/V）frame pts:AVStream->time_base为单位 pts:AVStream->time_base为单位 dts:AVStream->time_base为单位 duration:AVStream->time_base为单位 duration...
FFmpeg 音视频同步
清澈见底的专栏
07-11 973
原地址：http://www.jianshu.com/p/27279255f67e 音视频播放器的工作的具体流程如下图所示： 播放器工作流程 简单的来说包括：解协议，解封装，对音频和视频分别进行解码，音视频同步播放这几个部分，各部分详细解释请看后面参考资料。由于我们是分别解码和播放音频和视频的，所以各自播放的节奏需要同步，否则会出现音画不一致的情况。本文主要介绍一个简单的音视
ffmpeg音视频同步Demo
10-30
Windows平台上的音视频同步Demo，原作者博客链接：http://www.cnblogs.com/wangguchangqing/p/5900426.html，下载的工程文件不能编译通过，这个问题新手会很头疼，我修改并重新配置了工程，下载即可编译通过，使用VS2012等IDE打开
ffmpeg 音视频同步
weixin_43874295的博客
03-01 239
画面的播放肯定会快于音频，因此在播放画面的时候对每一帧进行延迟播放。 1、先将得到的画面帧在入队列前转换为毫秒方便后面的计算 2、获取音频当前播放时间 3、从packet中的画面frame获取画面的pts 除以 1000 得到秒 4、计算差值 – 这里 clock 就是上面的now_time 传递给video类 // 5、延时处理， 一下代码来自 -- https://me.csdn....
嵌入式音视频开发指南：从MPP框架到QT实战全解析
最新发布
niuTyler的博客
04-18 1020
通过本指南，您将掌握从底层驱动到上层应用的完整音视频开发技能，具备构建商业级嵌入式音视频系统的能力。建议按照"理论学习→Demo验证→项目实战"的路径逐步深入，每个阶段都要产出可验证的成果。：CPU占用高（1080p转换约15ms）：性能提升5-10倍。
嵌入式音视频开发_视频编码拓展
m0_66324986的博客
08-06 1318
​ QP参数调节，指量化参数调节。它主要来调节图像的细节，最终达到调节画面质量的作用。QP值和比特率成反比：QP值越小码率越高，画面质量越好；QP值越大码率越低，画面质量越差。而且随着视频源复杂度，这种反比的关系会更加明显。​ 但是要注意的是，在设置QP值的时候会容易造成码率的波动，有时候画面质量提升了会导致码率大幅度提升，所以在提升画面质量的时候也需要考虑码率的情况。在编码中，亮度的QP最大值是51、色度的QP最大值是39，在真正开发中调节亮度的QP值为主。
ffmpeg音视频同同步
09-04
将ffmpeg_play的同步代码,移植成MFC会话框程序,同时使用GDI显示,去掉SDL显示方式,同时克服console程序视频解码时发生中断的情况. 编译环境vs2005..
FFmpeg音视频同步解决方案
03-13
详细讲述了FFmpeg音视频同步，除了理论讲述外，还有对应的代码，非常详细。
Qt/C++音视频开发24-ffmpeg音视频同步
Qt/C++视频监控/推流/物联网/大屏系统/自定义控件/UI定制/输入法
09-24 2803
一、前言 用ffmpeg来做音视频同步，个人认为这个是ffmpeg基础处理中最难的一个，无数人就卡在这里，怎么也不准，本人也是尝试过网上各种demo，基本上都是渣渣，要么仅仅支持极其少量的视频文件比如收到的数据包是一帧视频一帧音频的，要么根本没法同步歪七八糟的，要么进度跳过去直接蹦蹦蹦崩溃的，其实最完美的音视频同步处理demo就是ffplay，我亲测过几十种各种各样的音视频本地文件，数十种视频流文件，都是非常完美，当然啦这是亲生的啦，不完美还玩个屁。 如果仅仅是播放视频流（不带音频流），可能不需要音视频同步
FFmpeg音视频同步
irainsa的博客
11-03 436
从前面的学习可以知道，在一个视频文件中，音频和视频都是单独以一条流的形式存在，互不干扰。那么在播放时根据视频的帧率（Frame Rate）和音频的采样率（Sample Rate）通过简单的计算得到其在某一Frame（Sample）的播放时间分别播放，**理论**上应该是同步的。但是由于机器运行速度，解码效率等等因素影响，很有可能出现音频和视频不同步，例如出现视频中人在说话，却只能看到人物嘴动却没有声音，非常影响用户观看体验。如何做到音视频同步？
怎么逆序输出字符串
03-08
### 实现字符串逆序输出的方法 #### 使用 Python 切片方法 Python 提供了一种简洁的方式来反转字符串，即使用切片操作。这种方法简单易懂且效率高。 ```python def reverse_string_slice(s): return s[::-1] input_str = input('请输入字符串：') reversed_str = reverse_string_slice(input_str) print(reversed_str) ``` 此代码接收用户输入的一个字符串并将其逆序打印[^2]。 #### 循环方式实现字符串逆序输出 另一种常见的方式是利用循环结构逐个字符读取原字符串，并构建一个新的逆序字符串。 ```python def reverse_string_loop(s): reversed_s = '' for char in s: reversed_s = char + reversed_s return reversed_s input_str = input('请输入字符串：') reversed_str = reverse_string_loop(input_str) print(reversed_str) ``` 这段代码同样可以完成字符串的逆向排列工作。 #### 采用栈数据结构来处理 还可以借助栈这种后进先出的数据结构特性来进行字符串翻转： ```python from collections import deque def reverse_string_stack(s): stack = deque() for char in s: stack.append(char) reversed_s = '' while stack: reversed_s += stack.pop() return reversed_s input_str = input('请输入字符串：') reversed_str = reverse_string_stack(input_str) print(reversed_str) ``` 这里展示了如何运用 `deque` 来作为栈容器以达到目的。 #### C++ 中递归算法的应用实例 对于C++而言，则可以通过递归来解决这个问题，在每次递归调用前保存当前字符直到遇到终止符再依次回溯输出这些字符形成最终的结果[^3]: ```cpp void Inverse(char A[]) { static int i = 0; char ch; std::cin >> ch; if (ch != '.') { Inverse(A); A[i++] = ch; } A[i] = '\0'; } ``` 需要注意的是上述例子是以'.'作为结束标志而非常见的'\n',实际应用可根据需求调整.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值