不显示删除回复显示所有回复显示星级回复显示得分回复 点对点局域网音视频通信如何实现音视频同步(不用DirectShow)[...

本文探讨了两种实现实时音视频同步播放的方法:方案一是通过打包具有相同时间戳的音视频数据来确保同步;方案二是利用时间戳信息调整视频播放速率以匹配音频。此外还讨论了如何在解码过程中实现音视频同步。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

现在的情况是:
采用DirectSound录音和播放音频;采用DirectShow采集摄像头视频,视频的播放是直接一帧帧地画到界面面板上(用QT编写的应用程序界面)。
已经实现音频和视频的实时采集压缩,分别发送和传输(音频和视频用不同的socekt和端口,UDP传输)和播放。

现希望实现音视频的同步播放(即所谓的唇音同步),看到不少都是用DirectShow去实现音视频同步,
我不想用DirectShow, 该如何去实现音视频同步呢?

现在初步大致的想法是:

方案一:音视频采集时,得到其采集时间戳,然后音视频分别压缩,再将具有相同时间戳的音视频包打包放在一个数据包内,
  然后发送传输,接收端从数据包内提取出音频和视频数据,分别同时播放。因为同一数据包内的音视频具有相同的采集
  时间戳,即是同一时刻采集的,则实现了同步。

方案二:同样得到采集时间戳信息,音视频分别压缩后,分别加上该时间戳信息,然后音视频分别发送和传输。
  接收端分别得到音视频数据,音频正常播放(考虑人对音频播放更敏感),并以音频播放为基准,调整视频的播放速率,
  视频帧到达时,将其时间戳与当前播放的音频时间戳进行比较,给定一个同步容忍度范围,如果超前了,则该视频帧暂不播 
  放,如果滞后后就丢弃该视频帧。从而实现音视频的同步。

请问以上方法是否可行?存在什么问题或者有什么其它更好方法?(不用directshow)

另外,如何得到音视频采集时的时间戳呢?

一般采用第二种方案!
一般 视频解码一个线程 音频解码一个线程
视频解码线程同音频解码线程去同步,同步的代码可以放在视频解码线程里面,音频解码线程自己播自己的。
音频解码线程每播放一帧音频(音频实际是采样),时间
t音=t音+t变化;
视频线程每播放一帧视频,时间
t视=t视+t变化;
同步代码发现:t视-t音>0并超过了一个阈值,就让视频解码线程先歇着,但是这时从网络接收数据没有停,接下来都先扔到视频缓冲队列中。
如果t视-t音<0并超过了一个阈值,就让视频解码线程加快输出,或是丢帧,赶上音频解码线程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值