FFmpeg 音视频同步问题

在使用 FFmpeg 进行开发时，音视频同步问题是一个常见且复杂的问题，涉及到时间戳管理、帧率处理、以及容器格式的支持等多个方面。以下是一个详细的整理，涵盖问题背景、可能原因、解决方法及注意事项：

问题背景

在多媒体开发中，音视频同步是指确保音频轨道和视频轨道在播放时严格按照时间轴对齐。一旦同步失衡，就会出现“音画不同步”问题，例如：

声音比画面快（或慢）。
时间轴整体偏移（延迟或提前）。
在开发中，常见的同步问题通常出现在以下场景：

多媒体文件处理（转码、封装、解封装）。
实时流媒体（推流、拉流）。
剪辑、拼接与合成（合并多个音视频文件）。
视频帧提取或速率调整（如慢动作或加速播放）。

可能原因

1. 时间戳处理错误
   FFmpeg 内部以时间基（time_base）处理音视频的时间戳，任何不正确的时间基设置都会导致同步问题。
   音频和视频轨道的起始时间戳（PTS）不同步。
   时间戳漂移：长时间运行时，音频或视频轨道可能出现累积的时间戳误差。
2. 文件源特性
   原始文件的同步问题：源文件本身音视频不同步。
   缺少或损坏的元数据：某些文件的头部信息不完整或时间戳丢失。
3. 编解码过程的问题
   解码过程中丢帧或帧乱序，导致时间戳错位。
   不同的音视频轨道有不同的帧率或采样率，未正确对齐。
4. 容器格式限制
   不同容器（如 MP4、MKV、AVI）的时间戳处理机制差异较大。
   容器封装过程中音视频轨道未正确对齐。
5. 开发中操作不当
   使用 FFmpeg API 时，未正确处理时间戳的读取和写入。
   重新封装或拼接文件时，未统一时间基或未考虑轨道对齐。
   忽略音视频轨道的时序调整。
   开发中可能遇到的具体问题及表现
   场景 问题表现 可能原因
   视频转码 转码后视频和音频不同步。 时间戳未正确对齐；输入文件音视频轨道起始时间不同；编码器未按帧率正确编码。
   拼接多段视频 拼接后部分段落音频超前或延