用FFmpeg实现Android中的MediaExtractor 一

基于 FFmpeg 的自定义 Media Extractor(3):自定义 Extractor 的实现方法 基于 Android 11探索自定义 Extractor 的实现,及其接入到 Android 多媒体框架中的方法。 阅读详情

下图是整个MediaExtractor需要实现的方法和类,在后续的篇章会逐渐解释这些方法和类

下图是整个MediaExtractor需要实现的方法和类,在后续的篇章会逐渐解释这些方法和类
在这里插入图片描述

extractor.drawio

前提

通过 MediaExtractor启动流程 可以知道, 当系统服务加载MediaExtractor插件时,会找到so库中的GETEXTRACTORDEF方法获得Extractor的定义接口指针.因此用FFmpeg实现Android中的MediaExtractor,先得实现一个GETEXTRACTORDEF,再回顾下GETEXTRACTORDEF的定义

// // frameworks/av/include/media/MediaExtractorPluginApi.h
typedef ExtractorDef (*GetExtractorDef)();

先介绍下**ExtractorDef**. ExtractorDef 是MediaExtractor 插件体系里的一个结构体定义,用来描述一个“抽取器插件”的元信息和能力。它告诉系统 : 我这个 extractor 是谁、版本是多少、叫什么名字、怎么探测文件、支持哪些类型。

// frameworks/av/include/media/MediaExtractorPluginApi.h
struct ExtractorDef {
   
   
    // version number of this structure
    const uint32_t def_version;

    // A unique identifier for this extractor.
    // See below for a convenience macro to create this from a string.
    media_uuid_t extractor_uuid;

    // Version number of this extractor. When two extractors with the same
    // uuid are encountered, the one with the largest version number will
    // be used.
    const uint32_t extractor_version;

    // a human readable name
    const char *extractor_name;

    union {
   
   
        struct {
   
   
            SnifferFunc sniff;
        } v2;
        struct {
   
   
            SnifferFunc sniff;
            // a NULL terminated list of container mime types and/or file extensions
            // that this extractor supports
            const char **supported_types;
        } v3;
    } u;
};
  • def_version :这个 ExtractorDef 结构体自身的版本号,不是 extractor 插件内容版本,比如

    // the C++ based API which first shipped in P and is no longer supported
    // 该版本已不在收到支持
    const uint32_t EXTRACTORDEF_VERSION_LEGACY = 1;
    
    // the first C/NDK based API
    // 这里对应的其实就是ExtractorDef中union中的v2
    const uint32_t EXTRACTORDEF_VERSION_NDK_V1 = 2;
    
    // the second C/NDK based API
    // 这里对应的其实就是ExtractorDef中union中的v3
    const uint32_t EXTRACTORDEF_VERSION_NDK_V2 = 3;
    
    // 默认是EXTRACTORDEF_VERSION_NDK_V2,即默认使用union中的v3
    const uint32_t EXTRACTORDEF_VERSION = EXTRACTORDEF_VERSION_NDK_V2;
    
  • extractor_uuid : 可以使用uuidgen直接生成一个,用以extractor的唯一标识符

    astro@Server:~/Ford/vendor/zlsmart/proprietary/media$ uuidgen 
    f6292d66-7e3e-4a25-9506-269b5f629180
    
  • extractor_version:

    代表了插件实现的版本号(区别于 def_version 结构体格式版本)。

    当系统加载到两个 extractor_uuid 相同的插件时,会选择 extractor_version更大的那个,因此插件升级时只需保持 UUID 不变并递增版本号即可

  • extractor_name : 人类可读的插件名称

  • 一个union:

    • sniffer : 方法指针,用以读取文件开头或特征数据, 判断这个文件是不是该 extractor 支持的格式
    • kExtensions : 这是一个以 NULL 结尾的字符串数组,表示该 extractor 支持的类型列表

再看下SnifferFunc的定义:

// The sniffer can optionally fill in an opaque object, "meta", that helps
// the corresponding extractor initialize its state without duplicating
// effort already exerted by the sniffer. If "freeMeta" is given, it will be
// called against the opaque object when it is no longer used.
// 插件用来探测文件类型的函数签名
typedef CreatorFunc (*SnifferFunc)(
        CDataSource *source, float *confidence,
        void **meta, FreeMetaFunc *freeMeta);

参数:

  • CDataSource *source : 输入参数, 表示待探测的数据源。

    // 框架提供给插件的“文件/流读取接口”
    struct 
音视频开发系列(30)MediaExtractor MediaMuxer 实现视频的解封装与合成 一、有什么实际应用 在我们日常使用短视频软件的时候,对视频的裁剪,拼凑,加入背景是很常用的操作,这些功能是如何实现的呐?其实是将视频多信道的分离出来,比如音轨和视频轨道分隔出来,可以做到二次合成。 今天我们通过对来MediaExtractor和MediaMuxer的学习分析和实践来实现 “把视频分离(提取&解封装)出纯音频和纯视频文件”、“替换背景音乐,合成新的视频文件”。 二、视频解封装和合成的API以及流程介绍 2.1 MediaExtractor:视频轨道提取器(解封装) 主要API 阅读详情

相关推荐

Android自定义MediaExtractor:基于FFmpeg的格式探测与实例创建

在音视频处理中,解复用(Demux)是将容器格式(如MP4、MKV)分离为独立音视频流的关键步骤,其原理是通过解析文件头信息识别编码轨道。FFmpeg的libavformat库提供了强大的解复用能力,支持广泛的媒体格式。在Android开发中,系统MediaExtractor在处理非标准或特殊编码文件时存在局限,通过集成FFmpeg实现自定义Extractor,可以显著提升格式兼容性与处理灵活性。本文聚焦于Extractor的核心创建过程,详细解析如何利用FFmpeg的AVInputFormat进行智能格式

weixin_28726391的博客 293

告别FFmpeg!用Android原生MediaExtractor和MediaMuxer实现视频音频分离与合并(附完整Kotlin代码)

本文详细介绍了如何利用Android原生API MediaExtractor和MediaMuxer实现视频音频的分离与合并,替代传统的FFmpeg方案。通过完整的Kotlin代码示例,展示了如何高效处理音视频数据,减少库体积和开发复杂度,适用于视频剪辑、音轨替换等常见场景。

weixin_30924087的博客 354

告别FFmpeg!用Android原生API实现视频音频分离与混流(MediaExtractor/MediaMuxer实战)

本文详细介绍了如何利用Android原生API MediaExtractor和MediaMuxer实现视频音频分离与混流,替代传统的FFmpeg方案。通过实战代码示例和性能对比,展示了原生API在体积、性能和兼容性方面的优势,特别适合对APK体积敏感或需要快速开发的移动应用场景。

weixin_30561177的博客 125

Android音频剪辑实战:MediaExtractor与自定义View实现无损裁剪

在移动端音视频处理场景中,音频剪辑与波形可视化是高频需求。Android开发者常需在系统原生能力与重型第三方库(如FFmpeg)之间做权衡。借助MediaExtractor与MediaCodec,应用可以直接按时间戳裁剪编码帧,实现无损且快速的音频片段导出;同时通过自定义View将PCM采样数据绘制为峰值波形,可提供直观的交互体验。本文以一套Android音频编辑工程为线索,拆解了MediaExtractor时间戳裁剪、AudioTrack PCM播放、自定义View波形绘制三大模块的协作方式,并给出规避帧

weixin_29194817的博客 208

学习ffmpeg时使用的iFrameExtractor项目

最新的iFrameExtractor项目源码

【python3.7】解决报错 error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++

解决pip安装py7zr遇到的报错问题。

水w的博客 3944

超详细 Git创建仓库及上传项目至Github操作(Windows系统)

文章目录前言一、Git下载及安装二、创建代码仓库1.配置身份2.创建本地仓库3.提交本地代码三、使用Git上传代码至Github1.创建ssh keys2.在Github中新建仓库3.关联本地仓库与Github仓库4.推送代码至Github仓库总结 前言 本文对于Windows系统上git的安装及基本使用方法进行简单介绍,并介绍如何使用git将仓库中的项目上传至个人的Github中去。内容参考《第一行代码》以及一些博客。 本文适合新手阅读哦~ 一、Git下载及安装 打开网站 git下载 下载安装包(直接

lijianyi0219的博客 2万+

AD9176 双通道高速DAC调试记录

AD9176是一款高性能双通道16位数模转换器,支持高达12.6GSPS采样率,专为多频段无线应用设计。该器件集成8通道15.4Gbps JESD204B接口,支持复数/实数数据输入,每通道最大输入速率达3.08GSPS。关键特性包括:48位高精度NCO、灵活的插值滤波器(最高12倍)、优异的动态性能(SFDR达-83dBc@1.84GHz)以及多芯片同步功能。硬件调试需重点关注时钟配置(建议250M基准时钟)、JESD参数匹配及交流耦合设计。测试指标要求SFDR>55dBc@312MHz,实测值可达65d

universaldata的博客 1496

关于st-link usb communication error的解决方法

一,问题 在MDK5中使用ST-Link下载时出现: st-link usb communication error Error:flash download failed - target dll has been canceled 二,解决过程 通过网上查阅得知大部分方法都是通过更换老版本的固件包以及操作硬件解决,我试了绝大部分方法都不好使,且老版本的包没有找到,于是试着更新一下固件包,但是更...

qq_43557907的博客 3万+

PDBfixer:蛋白质结构修复工具

本文介绍蛋白质数据银行(PDB)文件常见问题及修复工具PDBFixer的使用方法。PDB文件常存在缺失原子、残基等问题,PDBFixer可通过GUI、命令行或Python API实现自动化修复。文章详细说明安装方法、命令行参数、Python脚本修复流程及非标准残基替换表,并与Modeller、ColabFold和Rosetta Remodel等其他修复工具进行对比分析,提供了各工具的特点、适用场景和典型计算时间比较,帮助用户根据具体需求选择合适的修复工具。

Protein Designer的博客 613

RFSoC全面解析(八)—— ZCU111 RFSoC评估工具的上位机界面

下面的内容的参考文献为:XILINX公司文档UG1287。 XILINX公司提供了一个RFSoC的ADC/DAC性能的评估工具或者叫评估系统,这个文档就是讲如何使用这个评估工具的。 整个评估系统总的框图如上图所示,评估系统由上位机、ZCU111开发板、子卡以及网线、射频线缆组成。 ZCU111开发板内主要使用的RFSoC外设为时钟驱动和DDR4,RFSoC的PS部分和PL部分都使用了。 PS部分发挥的功能为通过网口与上位机通信,通过IIC总线控制时钟驱动芯片以及数据流控制等;PL部分发挥的功能为

4381

SQL的基本介绍

1.什么是数据库?2.什么是数据库管理系统?3.什么是 SQL?1.数据库是保存有组织的数据的容器,通常是一个文件或一组文件,可以将其看作电子化的文件柜。用户可以对文件中的数据执行新增、删除、更新、查询等操作。2.数据库管理系统是一种操纵和管理数据库的大型软件,用于建立、使用和维护数据库,简称DBMS。它对数据库进行统一的管理和控制,以保证数据库的安全性和完整性。用户可以通过 DBMS 访问数据库中的数据,数据库管理员也可以通过 DBMS 进行数据库的维护工作。

shiwei0813的博客 2879

快速卷积结构FIR数字滤波器的设计与ARM平台实现

本文提出了一种基于快速卷积结构的FIR数字滤波器设计与实现方案。通过Matlab设计了满足特定指标的低通FIR滤波器,采用重叠-保存法和重叠-相加法两种快速卷积算法,将计算复杂度从O(N·M)降低到O(NlogN)。详细介绍了滤波器系数生成、性能验证流程,并提供了ARM平台C语言实现的关键技术,包括定点量化处理。实验结果表明,该方法能有效滤除混合信号中的高频干扰,保留目标1kHz正弦信号,验证了设计方案的有效性。

huanghm88的专栏 126

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: VSync中的VsyncConfiguration机制
下一篇: Vsync中的ArmingInfo和FrameTimeline
coding_fei
博客等级 码龄11年 91粉丝 27原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值