Android 音视频编解码 MediaCodec

Just_Paranoid

已于 2023-04-23 13:57:31 修改

阅读量2.3k

点赞数

分类专栏： Android 文章标签： android 视频编解码 ffmpeg MediaCodec

于 2023-04-21 16:05:09 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_44008788/article/details/130291003

版权

Android 专栏收录该内容

179 篇文章

订阅专栏

MediaCodec 简介

Android中的MediaCodec是一个用于音视频编解码功能的API，使用它可以实现对音视频数据进行压缩、解压缩、编辑和转换。以下是MediaCodec的主要功能：

支持多种流媒体格式：包括H.264、AAC、VP8等等。
可以用于实时处理：通过显卡硬解实现低延迟的录制与播放。
高效：采用底层编码编解码, 能体现高效率和性能，特别适合在高机器配置下处理模式。
强大的 APIs：支持一系列 API，例如 Android 5.0 以上的 setCallback() 或新的异步方式做双向通信任务，MediaCodec 提供了更多操作控制。

MediaCodec 使用步骤

配置：创建 MediaCodec 实例并选择所需的输入/输出流格式。
输入数据：将编码数据送入解码器进行处理。获取输入缓冲区后，您需要填充其数据（例如从文件中读取），然后通过调用 queueInputBuffer() 将缓冲区提交给 MediaCodec 进行处理。
输出数据：MediaCodec 解码器处理数据后，在输出缓冲区产生所需的 PCM 视频数组或音频信号数组。可以访问输出缓冲区以获取已解码的数据(Ouput buffer)。MediaCodec 回传数据帧描述释放这一信息。
释放资源：使用完 MediaCodec 后必须销毁它。如果有任何未达到 EOS 并且不再需要的输入或输出缓存区，则必须停止播放并释放所有资源以避免泄漏。

## MediaCodec 常用方法

MediaCodec.createDecoderByType(String mimeType):创建解码器
MediaFormat MediaExtractor.getTrackFormat(int index): 获取媒体文件流的格式。此格式通常包含编解码标准及相关参数等。
ByteBuffer[] MediaCodec.getInputBuffers(): 获取输入缓冲区。
ByteBuffer[] MediaCodec.getOutputBuffers(): 获取输出缓冲区。
int MediaCodec.dequeueInputBuffer(long timeoutUs): 请求一个空闲的解码器输入缓冲区，其中timeoutUs表示请求最大等待时间（微秒）。
void MediaCodec.queueInputBuffer(int index, int offset, int size, long presentationTimeUs, int flags): 添加输入数据到指定的缓冲区及其时间戳信息。
int MediaCodec.dequeueOutputBuffer(BufferInfo info, long timeoutUs): 等待并返回输出缓冲区索引。BufferInfo包含了解码器相关信息和属性，例如已解码数据大小、 PTS、DTS等。
void MediaCodec.releaseOutputBuffer(int index, boolean render): 释放输出缓冲区以便进行下一次解析操作。
void MediaCodec.flush(): 清空所有未处理输入/输出缓冲区，并将解码器重置持状态到初始状态。
void MediaCodec.stop(): 结束并停止正在运行的MediaCodec。
void MediaCodec.release(): 释放资源。

MediaCodec 示例

以下是一个 MediaCodec 实例的简单示例代码，该示例代码从文件 M file 中读取 AAC 音频流并将其解码到 PCM 缓冲区中：

// 创建MediaExtractor来获取已编码的音频数据
MediaExtractor extractor = new MediaExtractor();
extractor.setDataSource(M_FILE);
int audioTrackIndex = selectTrack(extractor, MIME_TYPE_AUDIO);
extractor.selectTrack(audioTrackIndex);

MediaFormat inputFormat = extractor.getTrackFormat(audioTrackIndex);
String mimeType = inputFormat.getString(MediaFormat.KEY_MIME);
long durationUs = inputFormat.getLong(MediaFormat.KEY_DURATION);

// 创建解码器并配置为解码音频
MediaCodec codec = MediaCodec.createDecoderByType(mimeType);
codec.configure(inputFormat, null, null, 0);
codec.start();

// 获取解码器的输入和输出缓冲区
ByteBuffer[] codecInputBuffers = codec.getInputBuffers();
ByteBuffer[] codecOutputBuffers = codec.getOutputBuffers();

// 循环读取音频数据并且解码
try {
    boolean decodeDone = false;
    while (!decodeDone) {
        int inputBufferIndex = codec.dequeueInputBuffer(-1);
        if (inputBufferIndex >= 0) {
            // 将从文件中读取的音频编码数据放入到解码器的输入缓存区中
            ByteBuffer inputBuffer = codecInputBuffers[inputBufferIndex];
            int sampleSize = extractor.readSampleData(inputBuffer, 0);
            if (sampleSize < 0) {
                codec.queueInputBuffer(inputBufferIndex, 0, 0, 0L, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                decodeDone = true;
            } else {
                long presentationTimeUs = extractor.getSampleTime();
                codec.queueInputBuffer(inputBufferIndex, 0, sampleSize, presentationTimeUs, 0);
                extractor.advance();
            }
        }

        //将解码后的PCM音频数据保存在byte数组decodingFrame中。
        MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
        int outputBufferIndex = codec.dequeueOutputBuffer(info, TIMEOUT_US);
        if (outputBufferIndex >= 0) {
            ByteBuffer outputBuffer = codecOutputBuffers[outputBufferIndex];
            byte[] decodingFrame = new byte[info.size];
            outputBuffer.get(decodingFrame);
            outputBuffer.clear();
            codec.releaseOutputBuffer(outputBufferIndex, false);
        } 
    }

} finally {

    // 释放一些资源   
    codec.stop();
    codec.release();
    extractor.release();
}

需要注意的是，以上示例代码只能供参考使用，实际使用时需要根据具体情况进行修改和优化。

ffmpeg 和 MediaCodec对比

ffmpeg 和 MediaCodec 都是用于音视频处理的工具，它们有一些共同之处，但也存在很多不同点。

ffmpeg 是一个跨平台的开源集成工具包，可用于解码、编码、转换和播放各种音视频格式。ffmpeg 提供了广泛的功能，可以在命令行中使用，也可以作为库在其他项目中使用，适用于多种操作系统和语言。它支持各种音视频编解码器、滤镜、容器格式等，并且提供了非常灵活的配置选项。

MediaCodec 是 Android 平台上的 API，用于对视频和音频进行硬件加速编解码，以提高性能并减少功耗。MediaCodec 可以与 OpenGL ES 结合使用，使开发者能够通过硬件加速将每个视频帧直接传输到 GPU 上，从而更快地渲染图像。另外，MediaCodec 还提供了基于 Surface 对象的编解码接口，这意味着应用程序可以直接访问硬件，并在屏幕上渲染视频帧。但是，MediaCodec 只是针对 Android 平台的编解码 API，无法在其他平台上使用，而且其功能相对 ffmpeg 较为有限。

总的来说，ffmpeg 提供了比较全面的视频处理功能，并且可以适用于各种操作系统和平台，而 MediaCodec 则主要是针对 Android 平台的硬件加速编解码 API。使用哪个工具取决于你的需求和平台限制。