Android MediaCodec组件实现音视频编解码

原创 于 2025-09-11 17:10:41 发布 · 444 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#android #视频编解码

概述

Android MediaCodec是Android平台提供的底层音视频编解码API，它为开发者提供了直接访问设备硬件编解码器的能力。通过MediaCodec，我们可以高效地处理音频和视频数据的编码与解码操作，实现高性能的多媒体应用。

本文将深入探讨MediaCodec的核心概念、使用方法以及在实际开发中的最佳实践。

MediaCodec架构简介

基本工作原理

MediaCodec采用异步的、基于缓冲区的处理模式。其核心架构包括：

  • 输入缓冲区队列（Input Buffer Queue）：存放待处理的原始数据
  • 输出缓冲区队列（Output Buffer Queue）：存放处理后的数据
  • 编解码引擎：执行实际的编解码操作
  • 回调机制：通知应用程序缓冲区状态变化

状态管理

MediaCodec具有明确的状态机制：

Uninitialized → Configured → Executing → Released
     ↓              ↓            ↓
   Error ←——————————————————————————

视频解码实现

创建和配置解码器

public class VideoDecoder {
    private MediaCodec decoder;
    private Surface surface;
    
    public void initDecoder(String mimeType, int width, int height, Surface outputSurface) {
        try {
            // 创建解码器实例
            decoder = MediaCodec.createDecoderByType(mimeType);
            
            // 配置MediaFormat
            MediaFormat format = MediaFormat.createVideoFormat(mimeType, width, height);
            
            // 设置输出Surface
            this.surface = outputSurface;
            
            // 配置解码器
            decoder.configure(format, surface, null, 0);
            decoder.start();
            
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

异步解码处理

public void startDecoding() {
    decoder.setCallback(new MediaCodec.Callback() {
        @Override
        public void onInputBufferAvailable(MediaCodec codec, int index) {
            // 处理输入缓冲区
            ByteBuffer inputBuffer = codec.getInputBuffer(index);
            
            // 从数据源读取数据到inputBuffer
            int sampleSize = readSampleData(inputBuffer);
            
            if (sampleSize > 0) {
                // 提交输入数据
                codec.queueInputBuffer(index, 0, sampleSize, 
                    getCurrentTimestamp(), 0);
            } else {
                // 数据结束
                codec.queueInputBuffer(index, 0, 0, 0, 
                    MediaCodec.BUFFER_FLAG_END_OF_STREAM);
            }
        }
        
        @Override
        public void onOutputBufferAvailable(MediaCodec codec, int index, 
                MediaCodec.BufferInfo info) {
            // 处理输出缓冲区
            if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                // 解码完成
                handleDecodingComplete();
            }
            
            // 释放输出缓冲区（渲染到Surface）
            codec.releaseOutputBuffer(index, true);
        }
        
        @Override
        public void onError(MediaCodec codec, MediaCodec.CodecException e) {
            // 错误处理
            handleError(e);
        }
        
        @Override
        public void onOutputFormatChanged(MediaCodec codec, MediaFormat format) {
            // 输出格式变化处理
            handleFormatChange(format);
        }
    });
}

视频编码实现

编码器初始化

public class VideoEncoder {
    private MediaCodec encoder;
    private Surface inputSurface;
    private MediaMuxer muxer;
    
    public void initEncoder(String outputPath, int width, int height, int bitRate) {
        try {
            // 创建编码器
            encoder = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
            
            // 配置编码参数
            MediaFormat format = MediaFormat.createVideoFormat(
                MediaFormat.MIMETYPE_VIDEO_AVC, width, height);
            format.setInteger(MediaFormat.KEY_COLOR_FORMAT, 
                MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
            format.setInteger(MediaFormat.KEY_BIT_RATE, bitRate);
            format.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
            format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2);
            
            // 配置编码器
            encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
            
            // 获取输入Surface
            inputSurface = encoder.createInputSurface();
            
            // 创建MediaMuxer用于输出
            muxer = new MediaMuxer(outputPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            
            encoder.start();
            
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

编码数据处理

private int videoTrackIndex = -1;
private boolean muxerStarted = false;

public void startEncoding() {
    encoder.setCallback(new MediaCodec.Callback() {
        @Override
        public void onInputBufferAvailable(MediaCodec codec, int index) {
            // 对于Surface输入，这个回调通常不使用
        }
        
        @Override
        public void onOutputBufferAvailable(MediaCodec codec, int index, 
                MediaCodec.BufferInfo info) {
            ByteBuffer outputBuffer = codec.getOutputBuffer(index);
            
            if ((info.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
                // 配置数据，通常是SPS/PPS
                info.size = 0;
            }
            
            if (info.size > 0) {
                if (!muxerStarted) {
                    throw new RuntimeException("Muxer hasn't started");
                }
                
                // 调整ByteBuffer位置
                outputBuffer.position(info.offset);
                outputBuffer.limit(info.offset + info.size);
                
                // 写入媒体数据
                muxer.writeSampleData(videoTrackIndex, outputBuffer, info);
            }
            
            // 释放输出缓冲区
            codec.releaseOutputBuffer(index, false);
            
            if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                // 编码完成
                handleEncodingComplete();
            }
        }
        
        @Override
        public void onError(MediaCodec codec, MediaCodec.CodecException e) {
            handleError(e);
        }
        
        @Override
        public void onOutputFormatChanged(MediaCodec codec, MediaFormat format) {
            if (muxerStarted) {
                throw new RuntimeException("Format changed twice");
            }
            
            // 添加轨道到muxer
            videoTrackIndex = muxer.addTrack(format);
            muxer.start();
            muxerStarted = true;
        }
    });
}

音频编解码

音频解码示例

public class AudioDecoder {
    private MediaCodec audioDecoder;
    private MediaExtractor extractor;
    
    public void initAudioDecoder(String filePath) {
        try {
            extractor = new MediaExtractor();
            extractor.setDataSource(filePath);
            
            // 找到音频轨道
            int audioTrack = selectAudioTrack(extractor);
            if (audioTrack >= 0) {
                extractor.selectTrack(audioTrack);
                MediaFormat format = extractor.getTrackFormat(audioTrack);
                
                String mimeType = format.getString(MediaFormat.KEY_MIME);
                audioDecoder = MediaCodec.createDecoderByType(mimeType);
                audioDecoder.configure(format, null, null, 0);
                audioDecoder.start();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    
    private int selectAudioTrack(MediaExtractor extractor) {
        int trackCount = extractor.getTrackCount();
        for (int i = 0; i < trackCount; i++) {
            MediaFormat format = extractor.getTrackFormat(i);
            String mimeType = format.getString(MediaFormat.KEY_MIME);
            if (mimeType.startsWith("audio/")) {
                return i;
            }
        }
        return -1;
    }
}

音频编码示例

public void initAudioEncoder(int sampleRate, int channelCount, int bitRate) {
    try {
        MediaFormat format = MediaFormat.createAudioFormat(
            MediaFormat.MIMETYPE_AUDIO_AAC, sampleRate, channelCount);
        format.setInteger(MediaFormat.KEY_AAC_PROFILE, 
            MediaCodecInfo.CodecProfileLevel.AACObjectLC);
        format.setInteger(MediaFormat.KEY_BIT_RATE, bitRate);
        
        encoder = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_AUDIO_AAC);
        encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
        encoder.start();
        
    } catch (IOException e) {
        e.printStackTrace();
    }
}

性能优化策略

1. 缓冲区管理

// 合理设置缓冲区大小
private static final int BUFFER_SIZE = 64 * 1024; // 64KB

// 重用ByteBuffer避免频繁分配
private ByteBuffer reusableBuffer = ByteBuffer.allocate(BUFFER_SIZE);

2. 线程优化

// 使用专用线程处理编解码
private HandlerThread codecThread;
private Handler codecHandler;

private void initCodecThread() {
    codecThread = new HandlerThread("CodecThread");
    codecThread.start();
    codecHandler = new Handler(codecThread.getLooper());
}

3. 内存管理

// 及时释放资源
private void releaseResources() {
    if (decoder != null) {
        decoder.stop();
        decoder.release();
        decoder = null;
    }
    
    if (surface != null) {
        surface.release();
        surface = null;
    }
}

错误处理与调试

常见错误类型

private void handleCodecError(MediaCodec.CodecException e) {
    if (e.isTransient()) {
        // 暂时性错误，可以重试
        Log.w(TAG, "Transient codec error", e);
        retryOperation();
    } else if (e.isRecoverable()) {
        // 可恢复错误，重新配置编解码器
        Log.w(TAG, "Recoverable codec error", e);
        reconfigureCodec();
    } else {
        // 致命错误，需要完全重建
        Log.e(TAG, "Fatal codec error", e);
        recreateCodec();
    }
}

调试技巧

  1. 日志记录：详细记录缓冲区状态和时间戳
  2. 性能监控：监控帧率、码率和延迟
  3. 内存检查：使用Profiler检查内存泄漏

最佳实践

1. 选择合适的编解码器

// 检查硬件编解码器支持
private boolean isHardwareAccelerated(String codecName) {
    return !codecName.startsWith("OMX.google.");
}

// 优先选择硬件编解码器
private MediaCodec createOptimalDecoder(String mimeType) {
    MediaCodecList codecList = new MediaCodecList(MediaCodecList.ALL_CODECS);
    for (MediaCodecInfo codecInfo : codecList.getCodecInfos()) {
        if (codecInfo.isEncoder()) continue;
        
        String[] types = codecInfo.getSupportedTypes();
        for (String type : types) {
            if (type.equals(mimeType) && isHardwareAccelerated(codecInfo.getName())) {
                try {
                    return MediaCodec.createByCodecName(codecInfo.getName());
                } catch (IOException e) {
                    continue;
                }
            }
        }
    }
    
    // 回退到默认编解码器
    try {
        return MediaCodec.createDecoderByType(mimeType);
    } catch (IOException e) {
        return null;
    }
}

2. 配置参数优化

private MediaFormat createOptimalVideoFormat(int width, int height, int bitRate) {
    MediaFormat format = MediaFormat.createVideoFormat(
        MediaFormat.MIMETYPE_VIDEO_AVC, width, height);
    
    // 设置关键参数
    format.setInteger(MediaFormat.KEY_BIT_RATE, bitRate);
    format.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
    format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2);
    
    // 设置编码质量
    format.setInteger(MediaFormat.KEY_BITRATE_MODE, 
        MediaCodecInfo.EncoderCapabilities.BITRATE_MODE_VBR);
    
    // 设置颜色格式
    format.setInteger(MediaFormat.KEY_COLOR_FORMAT, 
        MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
    
    return format;
}

3. 同步和时间戳管理

private long generatePresentationTime() {
    return System.nanoTime() / 1000; // 微秒时间戳
}

private void adjustTimestamp(MediaCodec.BufferInfo info, long baseTime) {
    info.presentationTimeUs = info.presentationTimeUs - baseTime;
}

总结

Android MediaCodec是一个强大而灵活的音视频编解码框架，通过合理使用其API可以实现高性能的多媒体应用。关键要点包括：

  • 理解异步处理模式：正确处理回调和缓冲区管理
  • 优化性能：选择硬件编解码器，合理配置参数
  • 错误处理：实现健壮的错误恢复机制
  • 资源管理：及时释放编解码器和相关资源
  • 线程安全：在合适的线程中执行编解码操作

通过遵循这些最佳实践，开发者可以充分发挥MediaCodec的能力，构建稳定、高效的音视频应用。

Android视频解码-使用FFmpeg解码视频为YUV
yinshipin007的博客
05-13 1016
解封装器类库，用于对音频，视频和字幕流进行多路复用和多路分解（混合和解混合），它包含多种用于多媒体封装格式的复用器和解复用器。Libavcodec编码/解码器类库，包含用于音频，视频和字幕流的解码器和编码器，以及几个码流过滤器。Libswscale用于图像缩放以及色彩空间和像素格式转换操作。
Android音视频 - MediaCodec编解码音视频
Android开发进阶之路
01-14 1277
前情提要 MediaCodec
音频解码器
08-18
音频解码器，基于MediaCodec从底层彻底解码其他音频位PCM文件。步骤简单实用。
android MediaCodec 音频编解码的实现
君无意的博客
06-27 9597
转载请标明出处http://blog.youkuaiyun.com/tinsanmr/article/details/51049179 ，本文出自：【Tinsan的博客】 从今天开始 每周不定期更新博客，把这一周在工作与学习中遇到的问题做个总结。俗话说：好记性不如写博客，善于总结的人才能走的更远。写博客这种利人利己的好处我就不一 一列举了，总之，谁做谁知道，哈哈。在文章中如果有什么问题或者错
android端基于FFmpeg的音频解码与两种播放方式
热门推荐
徐福记456
02-01 3万+
FFmpeg在音视频开发的地位不必多说，它已经是行业的一个品牌标杆。本篇文章探讨使用FFmpeg进行音频解码，然后反射调用android系统自带的AudioTrack和OpenSL ES两种播放方式。 首先谈下FFmpeg解码流程，步骤包括：注册组件、分配FormatContext、打开音频文件、获取输入文件信息、获取音频流索引位置、获取音频解码器、打开解码器、循环读取待解码数据、解码完一帧送去
一文搞懂 Android 音视频编解码器 MediaCodec
weixin_46056189的博客
05-15 6678
一文搞懂 Android 音视频编解码器 MediaCodec，介绍了MediaCodec的流程和基本用法。
Android 采用MediaCodec实现Camera预览视频编解码
12-14
在"Android 采用MediaCodec实现Camera预览视频编解码"的场景中，我们将深入探讨如何利用MediaCodec进行视频流的处理，以及如何结合Camera2 API来实现更高级的功能。 首先，MediaCodec的工作原理是基于硬件加速的，...
Android 实时MediaCodec音频硬编解码播放
12-02
在Android平台上，MediaCodec是系统提供的一个核心API，用于实现媒体数据的编解码操作，特别是在处理音频和视频流时。硬编解码是指利用设备硬件进行编码和解码，通常比软件编解码更高效，能降低CPU的使用率并提高...
MediaCodec 音视频编解码
12-19
MediaCodec是Android平台上用于硬件或软件编解码音视频数据的一个底层API，提供了对编解码器的直接访问，允许开发者进行自定义音视频处理。开发者通过MediaCodec可以更精确地控制编解码过程，实现一些高级功能，如...
Android 用MediaCodec实现视频硬解码
12-28
硬解码是利用设备的特殊硬件单元（如GPU或专用的媒体处理芯片）来执行视频解码任务，而不是依赖CPU。这种方式降低了CPU负载，提高了电池寿命，尤其是在处理高分辨率和高帧率的视频时。 在Android中，MediaCodec API...
一文读懂 Android FFmpeg 视频解码过程与实战分析
2401_84121798的博客
04-10 1603
使用返回视频媒体流下一帧到AVPacket中。如果函数返回的 int 值是 0 则是Success，如果小于 0 则是Error或者EOF。因此如果在播放视频时返回的是小于 0 的值，调用函数重置解码器的状态，flush 缓冲区中的内容，然后再 seek 到当前传入的时间戳处，完成解码后的回调，再让同步锁进行等待。// 读取码流中的音频若干帧或者视频一帧，// 这里是读取视频一帧（完整的一帧），获取的是一帧视频的压缩数据，接下来才能对其进行解码// 防止解最后一帧时视频已经没有数据。
Android音视频——NuPlayer的解码模块
知道的越多，不知道的越多。
05-04 1465
NuPlayer的解码引入了 NuPIayerDecoderBase,这是一个基类。真正的解码器逻辑在 NuPlayerDecoder.cpp文件中，它继承自NuPlayerDecoderBase类。下面先看看实例化解码器， 其位于 frameworks\av\media\libmediaplayerservice\nuplayer\NuPlayer.cpp 中: status_t NuPlayer::instantiateDecoder(bool audio, sp<DecoderBase&g
Android平台FFmpeg视频解码全流程指南
健健的博客
05-08 1150
本文介绍了在Android平台上使用FFmpeg进行高效视频解码的实现方案，采用面向对象的设计思想。整体架构分为三层：应用层、业务逻辑层和Native层，分别负责用户接口、解码流程管理和FFmpeg核心解码实现。状态管理通过静态常量实现，核心类包括视频帧数据封装类（VideoFrame）和视频解码器封装类（VideoDecoder）。VideoFrame类封装了视频帧数据及其属性，并提供了转换为Bitmap的方法；VideoDecoder类则负责解码流程的管理，包括准备、开始、暂停、恢复、停止和释放等操作，
Android 系统软解码方案实现
朝花夕拾
04-12 2825
高通平台默认不支持avi格式的视频文件播放，如果需要播放avi视频，则需要自定义媒体提取器插件库。解封装后的视频数据是H.264H.265等格式，还不能直接显示到屏幕，需要通过解码器，将其还原成yuv或rga图片才能显示。由于授权和硬件限制，平台能支持的视频解码格式有限，可以通过自定义软解码器支持更多的解码格式。Android 原生多媒体框架如下：自定解码器在OpenMAX集成层 (IL) 实现。OpenMAX IL提供了一种标准化的方式识别和使用基于硬件的自定义多媒体编解码器（称为组件）。
Android MediaCodec的数据处理方式分析
weixin_30847271的博客
07-27 367
*由于工作需要，需要利用MediaCodec实现Playback及Transcode等功能，故在学习过程中翻译了Google官方的MediaCodec API文档，由于作者水平限制，文中难免有错误和不恰当之处，望批评指正。 *转载请注明出处：http://www.cnblogs.com/roger-yu/ 概述 Android MediaCodec可以访问底层的media c...
Android音视频编解码库MediaCodec
一世豁然的专栏
04-16 6395
MediaCodec类可用于访问低级媒体编解码器，即编码器/解码器组件。 它是Android低级多媒体支持基础架构的一部分（通常与MediaExtractor，MediaSync，MediaMuxer，MediaCrypto，MediaDrm，Image，Surface和AudioTrack一起使用）。广义而言，编解码器处理输入数据以生成输出数据。 它异步处理数据并使用一组输入和输出缓冲区。 在简...
【Android】MediaCodec学习
aaajj的专栏
01-28 1417
在开源Android屏幕投屏代码scrcpy中，使用了MediaCodec去获取和display关联的surface的内容，再通过写fd的方式（socket等）传给PC端，这里我们做另外一个尝试，读取手机中的mp4文件，显示到app的surface上，来学习MediaCodec的使用。playVideo的处理需要在另外一个线程中执行，不能在主线程执行，不然只能显示停止的一个画面。如果返回的索引大于等于0，则说明有可用的输出缓冲区。注意，这里的mp4文件放在了sdcard中，需要获取读取权限。
FFMpeg在Android平台的编解码实现与实战
最新发布
weixin_36483050的博客
08-23 963
随着移动互联网的发展，多媒体处理的需求日益增长。FFmpeg，这个开放源代码项目，已经成为处理音频和视频数据的强大工具。它支持多种音视频格式的编解码，并且具有跨平台的特性。其在Android平台的应用更是广泛，无论是在移动应用、视频直播还是流媒体处理中，都能看到FFmpeg的身影。本章我们从FFmpeg的基础概念开始谈起，到其在Android平台的应用潜力进行一个概述性的介绍。对于Android开发者而言，掌握FFmpeg的使用和优化，无疑将提高产品开发的效率与品质。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天天进步2015

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值