Stagefright AudioPlayer 流程

最新推荐文章于 2019-06-09 12:33:43 发布

转载最新推荐文章于 2019-06-09 12:33:43 发布 · 1.1k 阅读

Android Audio 专栏收录该内容

34 篇文章

订阅专栏

本文详细解析了StageFright框架下音频播放的流程，包括AudioPlayer、AudioSink和AudioTrack的角色与交互，以及如何通过AudioTrack封装实现PCM音频的播放。

罗索实验室：http://www.rosoo.net/a/201111/15264.html

Stagefright中关于audio的部分由AudioPlayer处理，输出使用AudioSink 或AudioTrack。

TAG: 音频播放 StageFright

Stagefright中关于audio的部分由AudioPlayer处理，输出使用AudioSink 或AudioTrack。

      status_t AwesomePlayer::play_l() { 
    ... 
    if (mAudioSource != NULL) { 
        if (mAudioPlayer == NULL) { 
            if (mAudioSink != NULL) { 
                mAudioPlayer = new AudioPlayer(mAudioSink, this); 
                mAudioPlayer->setSource(mAudioSource); 
       ... 
    } 
    ... 
}

AwesomePlayer在initAudioDecoder方法中建立audio decoder

 
       status_t AwesomePlayer::initAudioDecoder() { 
           ... 
           if (!strcasecmp(mime, MEDIA_MIMETYPE_AUDIO_RAW)) { 
               mAudioSource = mAudioTrack; 
           } else { 
               mAudioSource = OMXCodec::Create( 
                       mClient.interface(), mAudioTrack->getFormat(), 
                       false, // createEncoder 
                       mAudioTrack); 
           }     
           ... 
       } 
      

当调用play_l方法的时候建立AudioPlayer,并把Audio Decoder[mAudioSource]传递给它

AudioPlayer在调用start方法的时候会开启audioSink，并传递回调函数AudioSinkCallback

      status_t AudioPlayer::start(bool sourceAlreadyStarted) { 
    ... 
    if (mAudioSink.get() != NULL) { 
        status_t err = mAudioSink->open( 
            mSampleRate, numChannels, AudioSystem::PCM_16_BIT, 
            DEFAULT_AUDIOSINK_BUFFERCOUNT, 
            &AudioPlayer::AudioSinkCallback, this); 
    ... 
    mAudioSink->start(); 
    ... 
}

之后AudioSink会在需要Sample数据的时候回调AudioSinkCallback,要求将size大小Sample数据填充到buffer。这里调用fillBuffer函数从audio decoder读取解码后的Sample数据。

      size_t AudioPlayer::AudioSinkCallback( 
        MediaPlayerBase::AudioSink *audioSink, 
        void *buffer, size_t size, void *cookie) { 
    AudioPlayer *me = (AudioPlayer *)cookie; 
  
    LOGI("[%s:%d]_____ enter AudioPlayer::AudioSinkCallback size = %d"
, __FUNCTION__, __LINE__, size); 
    
    return me->fillBuffer(buffer, size); 
} 
 
void AudioPlayer::AudioCallback(int event, void *info) { 
    if (event != AudioTrack::EVENT_MORE_DATA) { 
        return; 
    } 
    AudioTrack::Buffer *buffer = (AudioTrack::Buffer *)info; 
    size_t numBytesWritten = fillBuffer(buffer->raw, buffer->size); 
    buffer->size = numBytesWritten; 
} 
 
size_t AudioPlayer::fillBuffer(void *data, size_t size) { 
    ... 
    size_t size_done = 0; 
    size_t size_remaining = size; 
    while (size_remaining > 0) { 
        ... 
        err = mSource->read(&mInputBuffer, &options); 
        ... 
        memcpy((char *)data + size_done, 
              (const char *)mInputBuffer->data() + mInputBuffer->range_offset(), 
              copy); 
  mInputBuffer->set_range(mInputBuffer->range_offset() + copy, 
                          mInputBuffer->range_length() - copy); 
        size_done += copy; 
        size_remaining -= copy; 
        ... 
    } 
    ... 
}

这里的mSource实际上是decoder,其read方法会调用mAudioTrack的read方法获取DataSource的未解码数据，然后解码，返回解码后的数据。

总流程如下

      AudioSink 
    | 
    +- AudioPlayer#AudioSinkCallback 
                        | 
                        +- AudioDecoder#read 
                                         | 
                                         +- Extractor::MediaSource#read

参考

stagefright框架（六）-Audio Playback的流程

使用AudioTrack播放PCM音频数

MediaPlayer只能对完整的音频文件进行操作，而不能直接对纯PCM音频数据操作。假如我们通过解码得到PCM数据源，又当如何将它们播放?没错，就是用 AudioTrack这个类（MediaPlayer内部也是调用该类进行真正的播放音频流操作）下面这个DEMO演示了如何使用AudioTrack

TAG: 音频播放 AudioTrack 播放PCM

Android的 MediaPlayer包含了Audio和video的播放功能，在Android的界面上，Music和Video两个应用程序都是调用 MediaPlayer实现的。MediaPlayer在底层是基于OpenCore(PacketVideo)的库实现的，为了构建一个 MediaPlayer程序，上层还包含了进程间通讯等内容，这种进程间通讯的基础是Android基本库中的Binder机制。

但是该类只能对完整的音频文件进行操作，而不能直接对纯PCM音频数据操作。假如我们通过解码得到PCM数据源，又当如何将它们播放?没错，就是用 AudioTrack这个类（MediaPlayer内部也是调用该类进行真正的播放音频流操作）下面这个DEMO演示了如何使用AudioTrack

不啰嗦，上图先

2011-5-21 07:04:17 上传

下载附件 (28.48 KB)

以下这个类对AudioTrack做了简单封装:

           public class MyAudioTrack {
        int mFrequency;// 采样率 
        int mChannel;// 声道 
        int mSampBit;// 采样精度 
        AudioTrack mAudioTrack;
        public MyAudioTrack(int frequency, int channel, int sampbit){ 
                mFrequency = frequency; 
                mChannel = channel; 
                mSampBit = sampbit; 
        }
        public void init(){ 
                if (mAudioTrack != null){ 
                        release(); 
                } 
 
// 获得构建对象的最小缓冲区大小 
int minBufSize = AudioTrack.getMinBufferSize(mFrequency,  
mChannel, mSampBit); 
                 
//STREAM_ALARM：警告声 
//STREAM_MUSCI：音乐声，例如music等 
//STREAM_RING：铃声 
//STREAM_SYSTEM：系统声音 
//STREAM_VOCIE_CALL：电话声音 
mAudioTrack = new AudioTrack(AudioManager.STREAM_MUSIC, 
mFrequency,mChannel,mSampBit,minBufSize, AudioTrack.MODE_STREAM); 
//AudioTrack中有MODE_STATIC和MODE_STREAM两种分类。
//STREAM的意思是由用户在应用程序通过write方式把数据一次一次得写到audiotrack中。
//这个和我们在socket中发送数据一样，应用层从某个地方获取数据，
//例如通过编解码得到PCM数据，然后write到audiotrack。
//这种方式的坏处就是总是在JAVA层和Native层交互，效率损失较大。
//而STATIC的意思是一开始创建的时候，就把音频数据放到一个固定的buffer，然后直接传给audiotrack，
//后续就不用一次次得write了。AudioTrack会自己播放这个buffer中的数据。 
//这种方法对于铃声等内存占用较小，延时要求较高的声音来说很适用。 
                mAudioTrack.play();         
        } 
public void release(){ 
                if (mAudioTrack != null){ 
                        mAudioTrack.stop();                                                
                        mAudioTrack.release(); 
                } 
        } 
         
        public void playAudioTrack(byte []data, int offset, int length){ 
                if (data == null || data.length == 0){return ;} 
                try { 
                        mAudioTrack.write(data, offset, length); 
                } catch (Exception e) { 
                        Log.i("MyAudioTrack", "catch exception..."); 
                } 
        } 
         
        public int getPrimePlaySize(){ 
                int minBufSize = AudioTrack.getMinBufferSize(mFrequency,  
mChannel, mSampBit);
                return minBufSize * 2; 
        } 
}