记一次录制mp4音视频不同步问题的排查过程

最新推荐文章于 2024-08-05 19:58:09 发布
原创 最新推荐文章于 2024-08-05 19:58:09 发布 · 6k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#音画不同步

记一次录制mp4音视频不同步问题的排查过程

现象：录制系统中收录rtmp流，并用mp4v2写mp4文件。视频采用的是rtmp包里的时间戳，但是音频若使用rtmp包里时间戳则同步，而采用自行计算的时间戳则不同步。

  • 录制系统主要收录实时RTC的音视频数据，在这种情况下，音频时间戳采用自行计算的值。后
    面加入rtmp流的收录，没有调整音频时间戳的逻辑。
  • 所谓自行计算是：若音频采样率为44100Hz，编码为aac，因为一帧aac包含1024个采样，则一帧aac音频的时长为 1024 ∗ 1000 / 44100 ≈ 23 m s 1024*1000/44100 \approx 23ms 1024∗1
最低0.47元/天 解锁文章

200万优质内容无限畅学
Qt/C++音视频开发：实现音视频同步保存为MP4
EknOcaml的博客
09-20 294
在上述代码中，我们创建了一个QVideoEncoderSettings对象，并设置了视频编码器的参数，包括编码器类型和分辨率。在上述代码中，我们创建了一个QAudioEncoderSettings对象，并设置了音频编码器的参数，包括编码器类型、采样率、比特率和声道数。在Qt/C++开发中，我们经常需要处理音视频数据，并且有时候需要将音频和视频同步保存为MP4格式。如果我们还需要将音频数据同步保存到MP4文件中，我们可以通过类似的方式创建音频输出，并设置音频编码器的参数。如果您有任何问题，请随时提问。
国产化系统中遇到的视频花屏、卡顿以及延迟问题的记录与总结
热门推荐
dvlinker的技术专栏
03-21 3万+
国产化系统中遇到的视频花屏、卡顿以及延迟问题的记录与总结。
mpv2 mp4录制
YUKUILONGQQ的专栏
07-10 7537
MP4录制 MP4录制程序是根据mpeg4ip中mpeg4ip-1.5.0.1\server\mp4live\file_mp4_recorder.cpp文件改的。程序支持h264+aac（raw 流）的写入方式，用到了动态库mp4v2-2.0.0，不要用mpeg4ip中那个较老的版本，因为在录制大文件时会有效率问题，下面是一些mp4v2接口的简介。   MP4FileHandle MP4Cr
解决了写mp4文件时，声音和视频不同步的问题
格物致知的专栏 [音视频编解码 网络协议 计算机视觉 计算机图形学 图像理解 语音识别 机器学习 模拟电路 传感器]
07-17 1万+
mp4文件的播放是根据stts来决定播放帧的
记一次奇怪的音画不同步问题（ts转mp4）
falseen的博客
09-16 5616
一、缘起 最近在网上下载了一个 ts 格式的视频文件，使用播放器播放没有任何问题，传到 bilibili 后出现音画不同步的现象，具体表现为声音比画面快几秒。起初以为是 ts 格式的问题，于是决定转码试一下。然而问题并没有我想得那么简单... 二、使用ShanaEncoder 转码 使用 ShanaEncoder 将文件转为 mp4 后，用播放器播放没有问题，传到B站后发现刚开始播放的时候是正常的，播放一分钟后就出现音画不同步的现象，暂停或拖动进度条后恢复正常。这实在是有点让人摸不着头脑。无奈之下
如何使用mp4v2将H264+AAC裸流录制成mp4文件，并保持音视频同步。
03-16
这个示例工程可以完整的展示：如何使用libmp4v2将原始的音视频数据帧存储为mp4文件。可以帮助流媒体开发人员快速存储mp4文件。
海思3518ev200处理器封装MP4的音频和视频同步OK
Merry_Cristamas的专栏
05-19 1488
今天用海思3518ev200处理器封装MP4的音频和视频同步OK，记录一下。 封装mp4用的GPAC开源代码，GitHub上可以搜到。 使用别人封装好的从gpac提取总结的接口函数，网络搜索MP4Writer，或者我上传的经修改过的代码。 用接口在一个线程中同时顺序调用视频和音频demo中的代码，音视频写入一个文件中。 置得注意的是：音频和视频的时间戳要取获取数据中自带的pts，因封装的代码传入时间戳参数单位ms，所以海思自带pts需要除以1000传入到接口函数，采集出的音视频同步啦。 关键代码：
mp4v2录制音视频同步方法
baiseled的博客
09-23 7171
#include long long getSystemTime() {     struct timeb t;     ftime(&t);     return 1000 * t.time + t.millitm; } long long nowvoltime; long long tempvoltime=getSystemTime(); while(1)
Camera2+ MediaRecorder 实现录制视频的功能，出现在某些设备上视频和音频不同步问题排查总结
tunmengsmile的博客
07-01 2025
（一）在谈问题前先要了解的知识储备 （1)MediaRecorder.OutputFormat也就是视频的输出格式类： 下表中是outputFormat类中 的调用字段 和它代表的格式对应表 调用字段 AAC_ADTS AMR_NB DEFAULT MPEG_2_TS MPEG_4 THREE_GPP WEBM 格式 .aac .3gp .ts .mp4 ...
音视频FAQ（三）：音画不同步
即构开发者博客
08-17 2551
本文介绍了音画不同步问题的五个因素：编码和封装阶段、网络传输阶段、播放器中的处理阶段、源内容产生的问题以及转码和编辑。针对这些因素，提出了相应的解决方案，如使用标准化工具、选择强大的传输协议、自适应缓冲等。此外，介绍了第三方音视频服务商如即构的解决方案，包括优化的编解码器、动态码率调整、前向纠错和包重传等。最后，强调了开发者需要密切监控应用性能并与音视频服务提供商合作，以确保最佳的音画同步体验。
90分钟解决音视频同步的各种坑 (1).mp4
09-13
送内容包括：C/C++，Linux，Nginx，golang，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，ffmpeg，流媒体， 音视频，CDN，P2P，K8S，Docker，Golang,TCP/IP，协程，嵌入式，ARM，DPDK等等。。。
android 前后摄像头同时录制生成mp4
07-11
对于前后摄像头的视频同步，需要考虑的时间戳对齐问题，确保两个视频流在时间线上能够吻合，从而让最终生成的mp4视频在播放时不会出现画面对不上的情况。 此外，还需要处理好相机预览的展示问题。通常，在进行前后...
如何使用mp4v2将H264+AAC裸流录制成mp4文件，并保持音视频同步【源码】【mp4】【录像】
浩一的博客
04-03 7195
前言：    mp4文件目前已经成为了流媒体音视频行业的通用标准文件格式，它是基于mov格式基础上演变来的，特别适合多平台播放，录制一次，多个平台都可使用。但是，由于mp4格式相对比较复杂，直到mp4v2这个开源工程的出现，解决了这个问题。    通常，我们在使用mp4文件时，会遇到两个问题：如何从已有的mp4文件中抽取音视频数据帧；如何将音视频数据帧录制成mp4文件，并保持音视频同步。    上...
FFmpeg-之音视频解码与音视频同步（二）
onghaha的博客
04-17 630
总而言之，Android开发行业变化太快，作为技术人员就要保持终生学习的态度，让学习力成为核心竞争力，所谓“活到老学到老”只有不断的学习，不断的提升自己，才能跟紧行业的步伐，才能不被时代所淘汰。在这里我分享一份自己收录整理上述技术体系图相关的几十套腾讯、头条、阿里、美团等公司20年的面试题，把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，这里以图片的形式给大家展示一部分。
NDK FFmpeg 音视频解码
字节流动
01-27 5439
本篇介绍一下 FFmpeg 音视频解码。 本博客 NDK 开发系列文章： NDK 编译的三种方式 在 NDK 开发中引入第三方静态库和动态库 NDK 开发中 Native 与 Java 交互 NDK POSIX 多线程编程 NDK Android OpenSL ES 音频采集与播放 NDK FFmpeg 编译 封装格式 我们经常所说的视频格式，如 mp4 、 mkv 、 rmvb 、fl...
Chrome中播放时视频编码为.h264和音频编码为acc,采样率为48000，双通道的视频文件时音画不同步
HW140701的博客
04-27 4781
1 Chrome播放MP4文件音画不同步 最近写web出现了一个巨坑，Chrome浏览器在播放mp4文件出现音画不同步的情况，这个mp4文件视频编码为.h264，音频编码为acc，但是采样率为48000，采样位数为16，双声道，如下图所示。 但是换了Firefox和不适用chrome内核的Edge浏览器结果播放正常。 2 原因 推测是Chrome内核解码器的问题。可能chrome的音频解码器在解...
封装格式与音视频同步
weixin_52734695的博客
08-05 1049
封装格式（也称为容器格式）是指将音频、视频、字幕、元数据等多种数据流封装在一个文件中的文件格式。音视频同步是指在播放多媒体内容时，确保音频和视频流按正确的时间关系同步播放，以避免“口型不同步”现象。主从同步: 一般情况下，以视频为主同步，音频为从同步。通过理解封装格式和音视频同步的基础知识，可以更好地处理和优化多媒体内容的存储、传输和播放。不同步问题: 由于音频和视频编码、解码处理时间不同，可能导致音视频不同步。支持高质量视频和音频。日志记录: 记录音视频帧的时间戳、缓冲区状态等信息，分析不同步原因。
音频 帧率 音视频同步
12-13 1万+
录制 视频 过程中,视频帧率视频设置帧率为25, 而此时 从采集设备过来的 数据流也是25frame/s ,如是 我十分好奇音频有没有类似帧率一说, 百度到如下资料:感觉十分 清楚的说明了 该问题:    采样率Sample Rate指单位时间内对媒体对象的采样次数，单位Hz（这句话好像和原来不太一样，郁闷）。      帧率（Frame per second，fps），单位时间
spnavcfg-0.3.1-1.el8.tar.gz
最新发布
08-19
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
ffmpeg发送声卡数据给另一台电脑播放，声音不同步怎么办
03-13
<think>好的，我现在需要帮用户解决使用FFmpeg发送声卡数据到另一台电脑时出现的音频不同步问题。首先，我得回想一下用户的问题场景：他们可能在通过FFmpeg实时传输音频，但接收端出现声音延迟或者不同步的情况。这可能涉及多个因素，比如网络延迟、编码延迟、时钟同步问题，或者缓冲设置不当。 首先，我应该考虑网络方面的问题。网络延迟和抖动是常见的原因。用户可能没有足够的带宽，或者网络存在不稳定，导致数据包到达时间不一致。这时候需要建议他们检查网络状况，比如使用ping或者iperf测试延迟和带宽。如果网络确实有问题，可能需要调整码率，或者使用更高效的编码格式，比如opus，因为它的延迟较低。另外，启用UDP协议可能比TCP更适合实时传输，因为TCP的重传机制会增加延迟。 接下来是编码和解码的延迟。用户可能使用了高延迟的编码器，或者编码预设不够优化。例如，使用非常慢的x264预设会增加编码时间，导致延迟累积。这时候建议他们使用更快的编码预设，比如-preset ultrafast，虽然可能会影响压缩效率，但能减少延迟。另外，硬件加速编码，比如用NVENC或VAAPI，也能减少编码时间，降低延迟。 时钟同步也是一个关键因素。FFmpeg内部使用不同的时钟源，如果音频和视频的时钟不同步，或者发送端和接收端的系统时钟有偏差，就会导致不同步。需要检查是否有设置-avioflags direct选项，或者尝试使用-re选项来按照实际时间戳传输，虽然这在实时流中可能不适用。另外，确保接收端正确解析时间戳，可能需要使用ffplay的-avioflags direct或-fflags nobuffer来减少缓冲。 缓冲设置不当同样会导致延迟。用户可能在发送端或接收端设置了过大的缓冲区，导致数据积压。需要调整FFmpeg中的rtbufsize参数，减小发送缓冲区的大小，比如设置-rtbufsize 1M。在接收端，ffplay的-buffer_size也可以调整，减少初始缓冲时间，比如使用-buffer_size 1024。 此外，用户可能没有正确配置时间戳处理。FFmpeg的-avoid_negative_ts make_zero或-genpts选项可能有助于生成正确的时间戳。在接收端，确保时间戳被正确处理，比如使用ffplay的-af aresample=async=1来调整音频同步。 还有可能是硬件问题，比如声卡本身的延迟。建议用户测试本地播放是否有延迟，或者更换声卡驱动。同时，系统负载过高也可能导致处理延迟，需要监控CPU和内存使用情况，确保资源充足。 最后，可能需要分步骤排查问题。比如先测试本地录制和播放是否同步，排除FFmpeg配置问题；再检查网络传输，逐步调整参数。使用工具分析网络流量和延迟，或者启用FFmpeg的调试日志，查看时间戳信息，找出不同步的具体原因。 总结下来，需要从网络、编码、时钟、缓冲、时间戳处理等多个方面逐一排查，调整相应的参数，才能解决声音不同步的问题。同时，建议用户进行系统性的测试，逐步定位问题根源，再针对性地优化设置。</think>以下分步骤排查和解决FFmpeg声卡数据传输声音不同步问题： --- ### **一、基础检查** 1. **测试本地录音延迟** ```bash # 发送端录制声卡并本地播放（先排除FFmpeg自身问题） ffmpeg -f alsa -i hw:0 -f pulse "本地扬声器设备名" ``` 若本地播放已不同步，需检查： - 声卡驱动（尝试更换`alsa`/`pulseaudio`后端） - 系统音频缓冲设置（如PulseAudio的`fragment_size`） 2. **验证网络质量** ```bash # 接收端执行网络测试（替换为接收端IP） iperf3 -c 接收端IP -t 30 ``` - 要求：带宽 > 音频码率 × 2，延迟 < 50ms - 若网络抖动大，优先改用有线网络或优化路由 --- ### **二、关键参数调优** #### ▶ **发送端优化** ```bash ffmpeg \ -f alsa -ac 2 -ar 48000 -thread_queue_size 1024 -i hw:0 \ # 降低采集队列 -c:a libopus -b:a 64k -application lowdelay \ # 低延迟编码 -f mpegts -flush_packets 1 -rtbufsize 1M \ # 减少缓冲 udp://目标IP:端口?pkt_size=1316 # UDP传输 ``` #### ▶ **接收端优化** ```bash ffplay \ -fflags nobuffer -flags low_delay -avioflags direct \ # 禁用缓冲 -f mpegts -i udp://0.0.0.0:端口 \ -af "aresample=async=1:min_comp=0.001" # 动态补偿延迟 ``` --- ### **三、高级调试方案** 1. **时间戳监控** ```bash # 发送端添加调试输出 ffmpeg -loglevel debug ... 2>&amp;1 | grep "pts_time" # 接收端查看解析时间戳 ffplay -debug_ts ... ``` 2. **强制时钟同步** ```bash # 接收端使用主时钟同步（适用于纯音频流） ffplay -sync ext ... ``` 3. **网络QoS保障** ```bash # Linux系统限制音频流优先级（替换为实际网卡名） sudo tc qdisc add dev eth0 root handle 1: prio priomap 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 sudo tc filter add dev eth0 parent 1:0 protocol ip u32 match ip dport 端口 0xffff flowid 1:1 ``` --- ### **四、典型场景解决方案** | 现象 | 解决方案 | |-----------------------|---------------------------------| | 延迟逐渐累积 | 添加`-af aresample=async=1000`（动态重置时钟） | | 突发卡顿后不同步 | 减小`-thread_queue_size` + 限制发送端CPU占用 | | 仅首次连接不同步 | 接收端添加`-probesize 32 -analyzeduration 0` | --- ### **五、终极方案建议** 若仍不同步，可改用专业低延迟传输协议： 1. **RIST协议**：`ffmpeg -f alsa ... -c:a aac -f rist udp://目标IP:端口` 2. **SRT协议**：`ffmpeg -f alsa ... -c:a opus -f srt srt://目标IP:端口?latency=200`
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值