FFmpeg编译MediaCodec

最新推荐文章于 2025-05-22 23:49:46 发布
最新推荐文章于 2025-05-22 23:49:46 发布
阅读量6k 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Android 音视频编解码 FFmpeg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yu_yuan_1314/article/details/81267442
从FFmpeg 3.1版本开始，支持Android MediaCodec硬解，适用于h264等格式。配置需启用相关组件，并指定平台为Android。实现过程涉及设置Java虚拟机及使用MediaCodec。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

从ffmpeg的3.1版本开始，加入了对Android的MediaCodec硬解支持，目前支持的格式包括h264、h265、mpeg4、vp8和vp9，下面以h264为例说明一下

1、编译ffmpeg

在configure阶段首需要enable相关的组件，如下所示：

--enable-jni

--enable-mediacodec

--enable-decoder=h264_mediacodec

--enable-hwaccel=h264_mediacodec

此外，必须指定编译平台 --target-os=android，否则会报错：ERROR：jni not found

2、使用MediaCodec

第一步：为ffmpeg设置java虚拟机

因为用到了jni，所以第一步需要为ffmpeg设置java虚拟机，在JNI_OnLoad函数中调用av_jni_set_java_vm，该函数在libavcodec/jni.h文件中

第二步：使用MediaCodec

MediaCodec对应的ffmpeg的组件名称为“h264_mediacodec”，需要通过指定名字来获得相应的codec，如果获得硬件解码器失败，再通过id来获得软件解码器

AVCodec *codec = avcodec_find_decoder_by_name("h264_mediacodec");
if (codec == NULL) {
     codec = avcodec_find_decoder(id);
}

到此即可使用了，其他地方不需要修改

FFmpeg 开发(14)：Android FFmpeg + MediaCodec 实现视频硬解码
字节流动
07-29 3万+
MediaCodec 是 Android 提供的用于对音视频进行编解码的类，它通过访问底层的 codec 来实现编解码的功能，是 Android media 基础框架的一部分，通常和 MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface和AudioTrack 一起使用。
FFmpeg与MediaCodec 简单总结
no_367的博客
11-20 3529
由于工作及学习的原因，需要研究移动端的多媒体视频编辑，自然也就接触到了FFmpeg以及MediaCodec。作为一种阶段性的总结，记录一下自己对于FFmpeg以及MediaCodec的一些经验。后面也会写一些例如带MediaCodec的FFmpeg的编译以及FFmpeg的使用或一些源码分析之类的… 对于FFmpeg于MediaCodec，首先最重要的问题是：FFmpeg是什么，MediaCodec...
FFmpeg 打包mediacodec 编码帧 MPEGTS
TyearLin的专栏
07-31 1319
在Android平台上合成视频一般使用MediaCodec进行硬编码，使用MediaMuxer进行封装，但是因为MediaMuxer支持格式有限，一般会采用ffmpeg封装，比如监控一般使用mpeg2ts格式而非MP4,这是因为两者对帧时pts等信息封装差异导致应用场景不同。
FFmpeg 调用 Android MediaCodec 进行硬解码（附源码）
音视频开发进阶
10-19 4483
FFmpeg 在 3.1 版本之后支持调用平台硬件进行解码，也就是说可以通过 FFmpeg 的 C 代码去调用 Android 上的 MediaCodec 了。在官网上有对应说明，地址如下...
FFmpeg解码器配置指南：为什么--enable-decoders不能单独使用？
健健的博客
05-22 680
在FFmpeg的编译配置过程中，许多开发者会遇到关于解码器配置的困惑。特别是--enable-decoders这个选项，很多人误以为启用它就能自动包含所有解码器。
FFmpeg 中的 Android MediaCodec
u010029439的博客
06-12 1549
https://www.jianshu.com/p/5beafbb699e9 FFmpeg 中的 Android MediaCodec GeorgeMR关注 0.92018.12.07 20:55字数 466阅读 626评论 0喜欢 5 MediaCodec 类可以用来访问底层媒体编解码器，即编码器/解码器的组件。它是 Android 底层多媒体支持架构的一部分。 ...
FFmpeg调用MediaCodec解码
qq_52703909的博客
01-03 1846
要使用硬解码，你还得告诉解码器，你想要输出什么样的格式数据，这个就是配置硬解码器所要干的事情， 也就是说为了告诉解码器你想要获得的最终的YUV数据格式是什么？查看它所支持的解码器，如图还是很多的，但是也并不是说都能直接使用的，因为大多数都是第三方的库， 一般需要在编译时打开进行链接编译后才能正常使用。这个文件，通过这个文件可以获取到很多我们想要的配置信息，最简单的，如果我们不知道有哪些可配置的编译信息， 则可以使用。在前面的博文中我们介绍了关于使用NDK编译FFMpeg6.0的一些坑以及相关的解决方法。
给FFmpeg加上MediaCodec和线程支持
u010029439的博客
07-12 1614
https://voiddog.github.io/2017/06/24/%E7%BB%99FFmpeg%E5%8A%A0%E4%B8%8AMediaCodec%E5%92%8C%E7%BA%BF%E7%A8%8B%E6%94%AF%E6%8C%81/之前一篇文章，我在 Android 上用 FFmpeg 来压缩视频 (文章链接)，对于 exit_program 的处理，是直接改成 return ...
Android FFmpeg系列04--FFmpeg调用MediaCodec进行硬解码
irainsa的博客
03-30 1150
本文基于之前的Demo添加了FFmpeg使用MediaCodec来硬解码的方式，包括解码出buffer再利用OpenGL进行渲染上屏和直接解码到Surface然后上屏两种方式。上述步骤都是在打开解码器之前完成，剩下的步骤和软解一致了，只是解码出来的AVFrame的fmt为上面我们查找到的hw_pix_fmt，也就是。所以接下来采用FFmpeg在3.1之后提供的直接调用MediaCodec的C接口来实现硬解码。解码流程和软解的流程也是类似的，这里重点描述下差异的地方。
FFmpeg 调用 MediaCodec 硬解码到 Surface 上
yinshipin007的博客
05-13 798
除此之外，还可以解码到 SurfaceTexture 构造的 Surface 上，这样就可以用到 SurfaceTexture 的 OnFrameAvailableListener 回调方法， 并且还可以用 attachToGLContext 方法关联到 OpenGL 环境上，每次解码时通过 updateTexImage 更新画面，实现解码到 OES 纹理的目标，具体操作起来也是很容易方便。众所周知，MediaCodec 的解码能力不仅可以解码出 YUV 数据，还能直接解码到 Surface 上。
linux下ffmpeg编译成so文件,Mac 编译FFmpeg成一个SO库
weixin_30915399的博客
04-29 1227
FFmpeg使用第三步，编译FFmpeg成一个SO库.编译环境macOS High Sierri 10.13.3android-ndk-r14bFFmpeg 3.4.2简介由于ffmpeg编译的so数目繁多，直接使用这些类库还是比较麻烦的. 因此可以将它们合并为一个类库 libffmpeg.so .操作步骤与编译多个so的脚本不同，这个脚本不再需要修改Configure的内容(生成的是.a而不是...
Android使用ffmpeg和MediaCodec解码h265裸流（没解码的代码））
03-31
具有硬解的能力，但是需要android 4.1以上才能支持。 这个demo主要是测试硬解和软解h265裸流的能力，有一些手机可能不支持硬解，因此硬解和软解的效率是大致相当的。硬解H265使用的是MediaCodec+ffmpeg方案，ffmepg负责拆包，MediaCodec负责解码和渲染，祝你愉快
FFmusic:FFmpeg和MediaCodec解码，OpenGL ES绘制yuv数据，OpenSL ES播放pcm数据实现Android 平台视频播放器
05-30
FFmusic Android 平台视频播放器 软解利用ffmpeg-3.3.9库实现 硬解通过MediaCodec实现 解码后通过OpenGL ES绘制显示yuv数据,OpenSL ES播放pcm数据，SoundTouch显示变速变调功能。 播放效果
MediaCodec解码H264视频数据
11-21
利用MediaCodec解码H264原始视频数据,通过socket实时传输
android硬编码h264
12-26
android 用新api mediacodec硬编码h264， 发送到vlc播放。
ffmpeg mediacodec 硬解初探
weixin_34034261的博客
05-16 468
ffmpeg mediacodec 硬解初探1编译：ffmpeg自3.1版本加入了android mediacodec硬解支持，解码器如图硬件加速器如图（还不清楚硬件加速器的功能）编译带h264_mediacodec版本的库需要开启以下选项--enable-jni--enable-mediacodec--enable-decoder=h264_mediacodec--enable-hwaccel=...
音视频系列八 ffmpeg使用mediacodec硬解码
Welcome_Word的博客
04-09 5383
文章目录重新编译ffmpeg配置JavaVM替换AVCodec 重新编译ffmpeg ffmpeg默认是没有开启mediacodec的，所以需要在配置文件上增加配置 --enable-mediacodec 默认就会增加mediacodec支持的解码器，但是如果你禁用了所有的解码器，那根据自己需要手动打开，参考以下配置 --enable-decoder=h264_mediacodec --enable-decoder=hevc_mediacodec --enable-decoder=mpeg4_mediac
c++库 Android h264编码 ffmpeg使用h264_mediacodec nv21 I420
m0_47724246的博客
10-12 630
h264 nv21 I420编码，android编码c++库
[FFmpeg + OpenGL + OpenSL ES] MediaCodec 硬解码 AVPacket- 11 硬解码
we1less的博客
11-15 728
初始化MediaCodec： 解码器类型（mime）例 "video/avc“，视频宽度（width），视频高度（height），最大数据输入大小(max_input_size)，csd-0 头信息，csd-1 头信息。 mediaFormat = MediaFormat.createVideoFormat(mime, width, height); mediaFormat.setInteger(MediaFormat.KEY_WIDTH, width); mediaFormat.setIntege.
ffmpeg MediaCodec 初始化失败的问题
最新发布
07-26
<think>根据用户的问题，用户在使用FFmpeg和MediaCodec时遇到了初始化失败的问题。我们需要结合提供的引用内容以及FFmpeg和MediaCodec的常见使用方式来分析可能的原因和解决方法。 引用内容分析： - 引用[1]提到在Android平台上使用MediaCodec硬编码，然后使用FFmpeg封装成MPEG2TS格式。 - 引用[2]提到FFmpeg调用MediaCodec硬解码到Surface上，并提到当surface不为null时，通过mediacodec_wrap_hw_buffer处理数据。 - 引用[3]提到在编译FFmpeg时需要启用特定的mediacodec解码器。 可能的原因及解决方法： 1. **FFmpeg编译配置问题**：FFmpeg可能没有启用MediaCodec支持，或者没有启用特定编码格式的MediaCodec解码器（如h264_mediacodec, hevc_mediacodec等）。解决方法：重新编译FFmpeg，确保配置中包含所需的解码器。例如，在配置FFmpeg时加入： ``` --enable-decoder=h264_mediacodec --enable-decoder=hevc_mediacodec ...（其他需要的解码器） ``` 2. **设备不支持**：当前设备可能不支持所请求的编码格式或分辨率。解决方法：在初始化MediaCodec之前，检查设备支持的格式，并选择设备支持的格式。 3. **Surface配置问题**：如果使用Surface模式（硬解码到Surface），可能Surface设置不正确。解决方法：确保Surface有效且正确设置。 4. **权限问题**：可能缺少必要的权限。解决方法：在AndroidManifest.xml中检查是否添加了必要的权限，例如： ```xml <uses-permission android:name="android.permission.INTERNET" /> <uses-feature android:name="android.hardware.h264" /> <!-- 如果使用H264 --> ``` 5. **版本兼容性问题**：FFmpeg版本与MediaCodec的API可能存在兼容性问题。解决方法：尝试使用不同版本的FFmpeg或更新到最新版本。 6. **输入参数问题**：在打开解码器或编码器时，传入的参数（如分辨率、码率等）可能不正确。解决方法：检查输入参数，确保其符合设备支持的范围。 7. **代码逻辑问题**：在调用FFmpeg的API时，可能没有正确初始化MediaCodec上下文。解决方法：检查代码中是否正确设置了MediaCodec相关的AVDictionary参数。 根据引用[2]中的代码片段，当使用Surface模式时，需要调用`mediacodec_wrap_hw_buffer`函数处理数据。如果初始化失败，可能是这个环节出了问题。可以检查以下几点： - 确保Surface不为null且有效。 - 检查`mediacodec_wrap_hw_buffer`函数的返回值，根据错误日志进行排查。 此外，引用[3]强调了解码器的启用，所以首先应确保编译的FFmpeg支持对应的MediaCodec解码器。 具体步骤建议： 1. **确认FFmpeg编译配置**：运行`ffmpeg -codecs`命令，查看输出中是否有`mediacodec`相关的解码器（如h264_mediacodec）并且状态为启用。 2. **检查设备支持**：在Android设备上，通过`MediaCodecList`获取支持的编解码器列表，确保要使用的格式被支持。 3. **检查代码**：在调用`avcodec_open2`打开解码器之前，设置正确的参数，特别是对于MediaCodec，可能需要设置`surface`参数。例如： ```c AVCodecContext *codec_ctx = ...; AVDictionary *options = NULL; av_dict_set(&options, "surface", surface, 0); // surface是Java层的Surface对象，通过JNI传递 int ret = avcodec_open2(codec_ctx, codec, &options); ``` 4. **查看日志**：在初始化失败时，FFmpeg通常会输出错误日志，根据日志中的错误信息进一步排查。 5. **尝试软解码**：为了确认问题是否出在硬解码上，可以尝试使用软解码（如h264解码器而不是h264_mediacodec）来验证。 6. **更新FFmpeg**：如果使用的FFmpeg版本较旧，可能存在已知的bug，更新到最新版本可能会解决问题。 7. **检查Android版本**：某些MediaCodec特性需要特定的Android版本，确保设备系统版本满足要求。 由于用户没有提供具体的错误日志，以上是常见的排查方向。如果用户能提供更具体的错误信息，可以进一步定位问题。 相关问题： 1. 如何检查Android设备是否支持特定的视频编码格式？ 2. 在FFmpeg中如何设置MediaCodec的Surface模式？ 3. 如何编译支持MediaCodec的FFmpeg？ 4. 使用FFmpeg和MediaCodec时常见的错误有哪些？ 5. 如何通过日志调试FFmpeg的MediaCodec初始化问题？</think>### FFmpeg MediaCodec 初始化失败解决方案 在使用 FFmpeg 与 MediaCodec 集成时出现初始化失败问题，通常由以下原因导致。请按步骤排查： #### 1. **检查 FFmpeg 编译配置** - 确保编译 FFmpeg 时启用了 MediaCodec 支持： ```bash ./configure --enable-mediacodec --enable-decoder=h264_mediacodec ``` - 验证支持的编解码器（运行 `ffmpeg -codecs | grep mediacodec`），需包含类似： ```text DEV.LS h264 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 (decoders: h264 h264_mediacodec) ``` - **解决方法**：重新编译 FFmpeg 并启用所需解码器（参考引用[3]）[^3]。 #### 2. **验证设备支持** - MediaCodec 需要设备硬件支持特定编码格式（如 H.264/HEVC）。 - 使用 Android 代码检查设备能力： ```java MediaCodecList list = new MediaCodecList(MediaCodecList.ALL_CODECS); for (MediaCodecInfo info : list.getCodecInfos()) { if (info.isEncoder()) continue; for (String type : info.getSupportedTypes()) { Log.d("CODEC", "Decoder: " + info.getName() + " Type: " + type); } } ``` - **解决方法**：若设备不支持所需格式，需降级到软解码或更换设备。 #### 3. **Surface 模式配置** - 使用 Surface 模式硬解码时，需确保正确传递 Surface 对象： ```c AVCodecContext *ctx = ...; AVDictionary *options = NULL; av_dict_set(&options, "surface", native_surface_ptr, 0); // 通过JNI传递Surface avcodec_open2(ctx, codec, &options); ``` - **错误现象**：未设置 Surface 时可能导致 `mediacodec_wrap_hw_buffer` 失败（参考引用[2]）[^2]。 - **解决方法**：检查 Surface 是否有效传递，并在 FFmpeg 中正确初始化。 #### 4. **权限与兼容性** - **AndroidManifest.xml 需添加权限**： ```xml <uses-feature android:name="android.hardware.h264" /> <uses-permission android:name="android.permission.INTERNET" /> ``` - **API 级别要求**：MediaCodec 部分功能需 Android 5.0+（API 21）。 - **解决方法**：检查设备系统版本，确保满足最低要求。 #### 5. **输入流格式问题** - 若输入流包含非常规参数（如非标准分辨率），可能导致初始化失败。 - **诊断命令**： ```bash ffprobe -i input.mp4 ``` - **解决方法**：通过 FFmpeg 转码预处理： ```bash ffmpeg -i input.mp4 -c:v copy -f mpegts output.ts ``` #### 6. **日志分析** 启用 FFmpeg 调试日志定位具体错误： ```c av_log_set_level(AV_LOG_DEBUG); ``` 常见错误日志： - `MediaCodec not found` → 编译配置问题 - `Failed to wrap MediaCodec buffer` → Surface 配置错误（参考引用[2]）[^2] - `Unsupported codec` → 设备或格式不支持 #### 7. **代码示例（关键片段）** ```c AVCodec *codec = avcodec_find_decoder_by_name("h264_mediacodec"); AVCodecContext *ctx = avcodec_alloc_context3(codec); // 设置Surface模式（关键！） AVDictionary *options = NULL; av_dict_set(&options, "surface", surface_ptr, 0); if (avcodec_open2(ctx, codec, &options) < 0) { av_log(NULL, AV_LOG_ERROR, "MediaCodec init failed!"); // 此处添加fallback到软解的逻辑 } ``` ### 总结排查流程 ```mermaid graph TD A[初始化失败] --> B{检查FFmpeg编译配置} B -->|配置缺失| C[重新编译FFmpeg] B -->|配置正确| D{检查设备支持} D -->|不支持格式| E[降级到软解码] D -->|支持格式| F{检查Surface配置} F -->|配置错误| G[修复Surface传递] F -->|配置正确| H{检查输入流格式} H -->|格式异常| I[预处理输入流] H -->|格式正常| J[启用调试日志分析] ``` ### 相关问题 1. 如何验证 Android 设备是否支持特定视频编码格式？ 2. 在 FFmpeg 中如何实现硬解码失败时自动切换软解码？ 3. 编译 FFmpeg 时启用 MediaCodec 需要哪些依赖库？ 4. 使用 MediaCodec 硬解码时如何正确管理 Surface 生命周期？ 5. FFmpeg 的哪些日志级别能帮助诊断 MediaCodec 问题？ [^1]: FFmpeg 打包 MediaCodec 编码帧时格式选择的影响 [^2]: Surface 模式下 MediaCodec 缓冲区的处理机制 [^3]: FFmpeg 启用 MediaCodec 解码器的编译参数
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值