stagefright框架（七）-Audio和Video的同步

最新推荐文章于 2024-03-21 19:13:08 发布

魏长志

最新推荐文章于 2024-03-21 19:13:08 发布

阅读量880

点赞数

CC 4.0 BY-SA版权

文章标签： video 框架 audio callback

本文链接：https://blog.youkuaiyun.com/weichangzhi18/article/details/6555527

本文介绍Stagefright框架中音频和视频的同步机制。通过设置主clock并利用AudioPlayer的时间戳进行同步，确保播放流畅。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

stagefright框架（七）-Audio和Video的同步

講完了 audio 和 video 的處理流程，接下來要看的是 audio 和 video 同步化 (synchronization) 的問題。 OpenCORE 的做法是設置一個主 clock ，而 audio 和 video 就分別以此作為輸出的依據。而在 Stagefright 中， audio 的輸出是透過 callback 函式來驅動， video 則根據 audio 的 timestamp 來做同步。以下是詳細的說明：

(1) 當 callback 函式驅動 AudioPlayer 讀取解碼後的資料時， AudioPlayer 會取得兩個時間戳 -- mPositionTimeMediaUs 和 mPositionTimeRealUs

size_t AudioPlayer: : fillBuffer( data, size) { . . . mSource- > read ( & mInputBuffer, . . . ) ; mInputBuffer- > meta_data( ) - > findInt64( kKeyTime, & mPositionTimeMediaUs) ; mPositionTimeRealUs = ( ( mNumFramesPlayed + size_done / mFrameSize) * 1000000) / mSampleRate; . . . }

mPositionTimeMediaUs 是資料裡面所載明的時間戳 (timestamp) ； mPositionTimeRealUs 則是播放此資料的實際時間 ( 依據 frame number 及 sample rate 得出 ) 。

(2) Stagefright 中的 video 便依據從 AudioPlayer 得出來之兩個時間戳的差值，作為播放的依據

void AwesomePlayer: : onVideoEvent( ) { . . . mVideoSource- > read ( & mVideoBuffer, . . . ) ; mVideoBuffer- > meta_data( ) - > findInt64( kKeyTime, & timeUs) ; mAudioPlayer- > getMediaTimeMapping( & realTimeUs, & mediaTimeUs) ; mTimeSourceDeltaUs = realTimeUs - mediaTimeUs; nowUs = ts- > getRealTimeUs( ) - mTimeSourceDeltaUs; latenessUs = nowUs - timeUs; . . . }

AwesomePlayer 從 AudioPlayer 取得 realTimeUs( 即 mPositionTimeRealUs) 和 mediaTimeUs( 即 mPositionTimeMediaUs) ，並算出其差值 mTimeSourceDeltaUs 。

(3) 最後我們將該 video 資料做排程

void AwesomePlayer: : onVideoEvent( ) { . . . if ( latenessUs > 40000) { mVideoBuffer- > release( ) ; mVideoBuffer = NULL ; postVideoEvent_l( ) ; return ; } if ( latenessUs < - 10000) { postVideoEvent_l( 10000) ; return ; } mVideoRenderer- > render( mVideoBuffer) ; . . . }