使用MediaExtractor和MediaMuxer分类和合成视频

最新推荐文章于 2025-02-04 05:14:09 发布
最新推荐文章于 2025-02-04 05:14:09 发布
阅读量1.4k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wwzuizz/article/details/77530593
版权

api16之后添加MediaExtractor可以分别操作视频音频，api18之后MediaMuxer可以进行视频的合成和分类。

项目截图


package com.example.lk.myradio;

import android.content.res.AssetFileDescriptor;
import android.content.res.AssetManager;
import android.media.MediaCodec;
import android.media.MediaExtractor;
import android.media.MediaFormat;
import android.media.MediaMuxer;
import android.os.Environment;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;

import java.io.File;
import java.io.IOException;
import java.nio.ByteBuffer;

import static android.R.attr.format;

public class MainActivity extends AppCompatActivity {

    private String MP3PATH=Environment.getExternalStorageDirectory().getPath()+"/ma/abd.mp3";
    private String MP4PATH=Environment.getExternalStorageDirectory().getPath()+"/ma/abd.mp4";
    private String COMPOSITINGPATH=Environment.getExternalStorageDirectory().getPath()+"/ma/compositing.mp4";
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        new Thread(new Runnable() {
            @Override
            public void run() {
                deMP3();
            }
        }).start();
    }
    public void deMP3(){
        MediaExtractor extractor = new MediaExtractor();
        try {
            AssetManager am = this.getAssets();
            AssetFileDescriptor afd = am.openFd("weq.mp4");
            extractor.setDataSource(afd.getFileDescriptor(),afd.getStartOffset(), afd.getLength());
        } catch (IOException e) {
            e.printStackTrace();
        }
        int audioIndex = -1;//音频通道
        int videoIndex = -1;//视频通道
        //获取多媒体文件信息
        MediaFormat audioFormat=null;
        MediaFormat videoFormat=null;
        MediaFormat trackFormat;
        for (int i = 0; i < extractor.getTrackCount()/*轨道数*/; i++) {
             trackFormat = extractor.getTrackFormat(i);
            if (trackFormat.getString(MediaFormat.KEY_MIME).startsWith("audio/")) {
                audioIndex = i;
                audioFormat=trackFormat;
            }
            if (trackFormat.getString(MediaFormat.KEY_MIME).startsWith("video/")) {
                videoIndex = i;
                videoFormat=trackFormat;
            }
        }
        extractor.selectTrack(audioIndex);//切换到音频通道
        File file=new File(Environment.getExternalStorageDirectory().getPath()+"/ma/");
        if(!file.exists()){
            file.mkdirs();
        }else{
            new File(Environment.getExternalStorageDirectory().getPath()+"/ma/abd.mp3");
            new File(Environment.getExternalStorageDirectory().getPath()+"/ma/abd.mp4");
        }
        doMp3(audioFormat,extractor,audioIndex);
        //释放音频的轨道
        extractor.unselectTrack(audioIndex);
        extractor.selectTrack(videoIndex);//切换到视频通道
        doMP4(videoFormat,extractor,videoIndex);
        extractor.release();
        compositing();
    }

    /**
     * 提取MP3
     * @param trackFormat
     * @param extractor
     * @param audioIndex
     */
    public void doMp3(MediaFormat trackFormat,MediaExtractor extractor,int audioIndex){
        MediaMuxer   mediaMuxer = null;
        try {

            mediaMuxer = new MediaMuxer( MP3PATH, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
        } catch (IOException e) {
            Log.e("IOException",""+e.toString());
            e.printStackTrace();
        }

        //添加轨道 得到轨道所在的index
        int writeAudioIndex = mediaMuxer.addTrack(trackFormat);
        mediaMuxer.start();
        //声明缓冲去，用于读取一帧的数据存放
        ByteBuffer byteBuffer = ByteBuffer.allocate(trackFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE));
        MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
        long stampTime = 0;
        //获取相邻帧之间的间隔时间
        {
            //读取一帧
            extractor.readSampleData(byteBuffer, 0);
            if (extractor.getSampleFlags() == MediaExtractor.SAMPLE_FLAG_SYNC) {
                extractor.advance();
            }
            extractor.readSampleData(byteBuffer, 0);
            long secondTime = extractor.getSampleTime();
            //跳到下一帧
            extractor.advance();
            extractor.readSampleData(byteBuffer, 0);
            //得到这一帧的时间
            long thirdTime = extractor.getSampleTime();
            stampTime = Math.abs(thirdTime - secondTime);
        }
        //重新切换此信道，不然上面跳过了3帧,造成前面的帧数模糊
        extractor.unselectTrack(audioIndex);
        extractor.selectTrack(audioIndex);
        while (true) {
            int readSampleSize = extractor.readSampleData(byteBuffer, 0);
            if (readSampleSize < 0) {
                break;
            }
            extractor.advance();//移动到下一帧
            bufferInfo.size = readSampleSize;
            bufferInfo.flags = extractor.getSampleFlags();
            bufferInfo.offset = 0;
            bufferInfo.presentationTimeUs += stampTime;

            mediaMuxer.writeSampleData(writeAudioIndex, byteBuffer, bufferInfo);
        }
        mediaMuxer.stop();
        mediaMuxer.release();
    }

    /**
     * 提取MP4
     * @param trackFormat
     * @param extractor
     * @param videoIndex
     */
    public void doMP4(MediaFormat trackFormat,MediaExtractor extractor,int videoIndex){
        MediaMuxer   mediaMuxer = null;
        try {
            mediaMuxer = new MediaMuxer(MP4PATH, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
        } catch (IOException e) {
            Log.e("IOException",""+e.toString());
            e.printStackTrace();
        }

        int writevideoIndex = mediaMuxer.addTrack(trackFormat);
        mediaMuxer.start();
        ByteBuffer byteBuffer = ByteBuffer.allocate(trackFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE));
        MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
        long stampTime = 0;
        //获取相邻帧之间的间隔时间
        {
            extractor.readSampleData(byteBuffer, 0);
            if (extractor.getSampleFlags() == MediaExtractor.SAMPLE_FLAG_SYNC) {
                extractor.advance();
            }
            extractor.readSampleData(byteBuffer, 0);
            long secondTime = extractor.getSampleTime();
            extractor.advance();
            extractor.readSampleData(byteBuffer, 0);
            long thirdTime = extractor.getSampleTime();
            stampTime = Math.abs(thirdTime - secondTime);
        }
        //重新切换此信道，不然上面跳过了3帧,造成前面的帧数模糊
        extractor.unselectTrack(videoIndex);
        extractor.selectTrack(videoIndex);
        while (true) {
            int readSampleSize = extractor.readSampleData(byteBuffer, 0);
            if (readSampleSize < 0) {
                break;
            }
            extractor.advance();//移动到下一帧
            bufferInfo.size = readSampleSize;
            bufferInfo.flags = extractor.getSampleFlags();
            bufferInfo.offset = 0;
            bufferInfo.presentationTimeUs += stampTime;

            //往往对应的轨道填写数据
            mediaMuxer.writeSampleData(writevideoIndex, byteBuffer, bufferInfo);
        }
        mediaMuxer.stop();
        mediaMuxer.release();
    }

    /**
     * 合成视频和音频
     */
    public void compositing(){
        MediaExtractor videoExtractor = new MediaExtractor();
        try {
            videoExtractor.setDataSource(MP4PATH);

        MediaFormat videoFormat = null;
        int videoTrackIndex = -1;
        int videoTrackCount = videoExtractor.getTrackCount();
        for (int i = 0; i < videoTrackCount; i++) {
            videoFormat = videoExtractor.getTrackFormat(i);
            String mimeType = videoFormat.getString(MediaFormat.KEY_MIME);
            if (mimeType.startsWith("video/")) {
                videoTrackIndex = i;
                break;
            }
        }
            MediaExtractor audioExtractor = new MediaExtractor();
            audioExtractor.setDataSource(MP3PATH);
            MediaFormat audioFormat = null;
            int audioTrackIndex = -1;
            int audioTrackCount = audioExtractor.getTrackCount();
            for (int i = 0; i < audioTrackCount; i++) {
                audioFormat = audioExtractor.getTrackFormat(i);
                String mimeType = audioFormat.getString(MediaFormat.KEY_MIME);
                if (mimeType.startsWith("audio/")) {
                    audioTrackIndex = i;
                    break;
                }
            }
            videoExtractor.selectTrack(videoTrackIndex);
            audioExtractor.selectTrack(audioTrackIndex);
            MediaCodec.BufferInfo videoBufferInfo = new MediaCodec.BufferInfo();
            MediaCodec.BufferInfo audioBufferInfo = new MediaCodec.BufferInfo();

            MediaMuxer mediaMuxer = new MediaMuxer(COMPOSITINGPATH, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            int writeVideoTrackIndex = mediaMuxer.addTrack(videoFormat);
            int writeAudioTrackIndex = mediaMuxer.addTrack(audioFormat);
            mediaMuxer.start();

            ByteBuffer byteBuffer = ByteBuffer.allocate(500 * 1024);
            long sampleTime = 0;
            {
                videoExtractor.readSampleData(byteBuffer, 0);
                if (videoExtractor.getSampleFlags() == MediaExtractor.SAMPLE_FLAG_SYNC) {
                    videoExtractor.advance();
                }
                videoExtractor.readSampleData(byteBuffer, 0);
                long secondTime = videoExtractor.getSampleTime();
                videoExtractor.advance();
                long thirdTime = videoExtractor.getSampleTime();
                sampleTime = Math.abs(thirdTime - secondTime);
            }
            videoExtractor.unselectTrack(videoTrackIndex);
            videoExtractor.selectTrack(videoTrackIndex);

            while (true) {
                int readVideoSampleSize = videoExtractor.readSampleData(byteBuffer, 0);
                if (readVideoSampleSize < 0) {
                    break;
                }
                videoBufferInfo.size = readVideoSampleSize;
                videoBufferInfo.presentationTimeUs += sampleTime;
                videoBufferInfo.offset = 0;
                videoBufferInfo.flags = videoExtractor.getSampleFlags();
                mediaMuxer.writeSampleData(writeVideoTrackIndex, byteBuffer, videoBufferInfo);
                videoExtractor.advance();
            }

            while (true) {
                int readAudioSampleSize = audioExtractor.readSampleData(byteBuffer, 0);
                if (readAudioSampleSize < 0) {
                    break;
                }

                audioBufferInfo.size = readAudioSampleSize;
                audioBufferInfo.presentationTimeUs += sampleTime;
                audioBufferInfo.offset = 0;
                audioBufferInfo.flags = videoExtractor.getSampleFlags();
                mediaMuxer.writeSampleData(writeAudioTrackIndex, byteBuffer, audioBufferInfo);
                audioExtractor.advance();
            }

            mediaMuxer.stop();
            mediaMuxer.release();
            videoExtractor.release();
            audioExtractor.release();

        } catch (IOException e) {
            e.printStackTrace();
        }

    }
}


wwzuizz
关注
使用MediaExtractor和MediaMuxer完成视频的抽取并生成新的视频
h2948203216的博客
09-30 756
不多说，上代码 这里是关于对视频抽取的直接操作 public class ExtractorMuxer { public static void divideMedia (@Nullable String srcPath, @Nullable String dstPath) throws IOException { MediaExtractor extractor...
MediaExtractor、MediaMuxer 分离和合成 mp4
三木仔
08-08 1121
MediaExtractor 视音频分离器，将一些格式的视频分离出视频轨道和音频轨道。 主要流程，也是主要的 API： setDataSource(String path)：设置数据源 getTrackCount()：获取通道数 getTrackFormat(int index)：获取通道格式 readSampleData(ByteBuffer byteBuf, int offset...
MediaExtractor抽取视频->MediaMuxer产生视频文件
10-09
通过MediaExtractor抽取视频，然后再通过MediaMuxer产生视频文件
使用MediaExtractor+MediaCodec+MediaMuxer实现视频截取和拼接
feng海涛
10-24 1825
Android中使用MediaExtractor+MediaCodec+MediaMuxer实现将本地视频解码截取再和另外的视频进行拼接编码合成一个视频，主要有两个类。 下面是解码相关的类VideoDecoder.java package com.audiovideo.camera.decoder; import android.media.MediaCodec; import android....
Android 音视频入门 （四）- 记录一次MediaCodec + MediaMuxer的使用
最新发布
2501_90193635的博客
02-04 500
总体来说还是挺简陋的，比如没有根据具体的设备动态地去判断录制的尺寸、录制的色彩格式选择等等，相机相关的功能闪光灯、对焦也未加入。MediaCodec本身是编解码器，和FFmpeg不同，它会优先进行硬件解码，效率高，功耗低，但是缺点就是，兼容性、可扩展性相对于软件解码来说会更低。有一部分的播放软件，将硬解还是软解的选择权交给了用户，这样既可以兼顾到扩展性，又可以兼顾到功耗。
Android MediaMuxer合成音视频，可暂停续录
CheDanDeHuiYi的博客
02-24 1806
项目中录制视频，要求拍摄中可暂停拍摄，这样之前使用的MediaRecord就不支持了，mediaRecord一旦调用stop状态就会重新初始化，想着或许可以将多个视频文件合并成一个，但是通过ffmpeg合并，因为项目中并没有对拍摄时间进行限制，可能每个视频都几百兆，这样合并起来效率是一个问题。后来看到一个博客利用MediaMuxer，暂停后通过变量控制跳过暂停后的帧数可以达到效果，就是说暂停后不再...
Android多媒体（三） 音频与视频合并 我用双手成就你的梦想
qq_18612815的博客
05-27 2617
上两篇中讲了 Android多媒体（一） 音轨合成 我用双手成就你的梦想 Android多媒体（二） 多段Mp4文件拼接 我用双手成就你的梦想 今天实现的是音频与视频的合并。 实现该效果，仍旧使用Google的mp4parser 代码量也是非常的少： try { Movie countVideo = MovieCreator.build(videoPath);
android视频合成相关整理
u014702999的专栏
02-15 4506
1, ffmpeg视频转换: http://blog.youkuaiyun.com/gobitan/article/details/22750719 2, 视频合成示例代码:http://blog.youkuaiyun.com/mengzhengjie/article/details/38734249 (其中用到两个jar包isoparser-1.0.1.jar, aspectjrt.jar,下载地址:http://
Android MediaExtractor + MediaMuxer 分离音视频
M_Andrain的博客
05-28 129
一、背景 Video和Audio通常具备多种品质，视频里有如480P、720P、1080P、2K...等，而Video中有普通音质、middle音质、HQ音质等，在目前降本增效的愿景的下，需要考虑到的降低存储成本和传输成本，因此...
多媒体系统之MediaMuxer和MediaExtractor（五），android计算器源码
m0_66265001的博客
01-25 332
1.//添加轨道 addTrack 2.写数据 writeSampleData 3.释放 release 注意点 buffinfo 必须设置相应的有效值，不然会引发错误 //写入数据大小 bufferInfo.size = readSampleDataSize; //偏移量 bufferInfo.offset = 0; //是否为关键帧 bufferInfo.flags = mediaExtractor.getSampleFlags(); //PTS 单位为微妙，必须为递增不然会报错 bufferInfo.
android 截屏合成mp4,Android Multimedia实战（四）MediaProjection实现截图，与MediaMuxer实现录屏为MP4，Gif格式...
weixin_29535577的博客
05-28 316
MediaProjection可以用来捕捉屏幕，具体来说可以截取当前屏幕和录制屏幕视频 (5.0以上)先总结下系统是如何实现组合键截屏的：都应该知道Android源码中对按键的捕获位于文件PhoneWindowManager.java中当满足按键条件时会用一个mHandler 开始post一个runnable,进入这个runnable中执行takeScreenshot()方法。使用AIDL绑定了s...
h264封装flv-----flv-muxer
03-23
根据FLV格式协议，实现支持h264裸视频流封装成FLV格式，音频也支持，只不过是在main中略作修改即可。
android 打开rp文档,android音视频学习之路四-MediaExtractor&MediaMuxer
weixin_28995873的博客
05-29 845
一、写代码之前，先简单的对相关的几个类进行简单的了解1.MediaExtractor用于分离容器内的视频track和音频track,说直观点就是提取多路的，通常编码的视频资源。主要API介绍：setDataSource(String path)：即可以设置本地文件又可以设置网络文件getTrackCount()：得到源文件通道数getTrackFormat(int index)：获取指定(inde...
Android 音视频分离与合成解析
zzz777qqq的博客
04-02 839
音视频开发为Android带来了无限可能，从基础的播放功能到复杂的实时通讯，开发者可以利用Android提供的强大API和第三方库，打造出功能丰富、用户体验卓越的多媒体应用。随着技术的不断进步，音视频开发将继续在Android平台上扮演重要角色，为用户带来更加精彩的移动体验。
Android分离合成音视频(用MediaExtractor和MediaMuxer)
k_bb_666的博客
01-26 5463
前言： 最近在做类似小咖秀的视频录制功能，也就是俗称的对嘴型表演，录制视频我用的是三方SDK，但是视频合成就需要自己搞了，在网上搜了挺多资料，国内国外网站看了不少，踩了很多坑，总算整出来了，在此分享给大家，希望对以后要做类似功能的兄弟们有所帮助！ 需求： 将视频一的音频提取出来，视频二的视频图像提取出来，然后把它们合成新的视频。 工具准备： 视频的分离合成我主要用到了MediaE...
Android中MediaMuxer和MediaCodec用例 - audio+video
热门推荐
世事难料，保持低调
06-18 4万+
在Android的多媒体类中，MediaMuxer和MediaCodec算是比较年轻的，它们是JB 4.1和JB 4.3才引入的。前者用于将音频和视频进行混合生成多媒体文件。缺点是目前只能支持一个audio track和一个video track，而且仅支持mp4输出。不过既然是新生事物，相信之后的版本应该会有大的改进。MediaCodec用于将音视频进行压缩编码，它有个比较牛X的地方是可以对Surface内容进行编码，如KK 4.4中屏幕录像功能就是用它实现的。
Android中使用 MediaExtractor 和 MediaMuxer解析、封装 mp4 文件
tong5956的专栏
09-26 1640
最近开始学习Android下的封装和解封装技术，熟悉MediaExtractor和MediaMuxer的使用。 1、MainActivity.java文件： package com.example.tongjiangsong.mediaextractmuxer; import android.support.v7.app.AppCompatActivity; import android....
MediaExtractor+MediaCodec+MediaMuxer之Java篇
hubinbin595959的专栏
05-08 1156
1.文章介绍 写这篇文章的目的主要是分享这段时间自己对MediaCodec的学习和理解，也顺便把在实际调试中踩的坑记录下，给关注该技术的同学一些参考。 2.实现目标 在Android设备上把本地视频或者网络视频解码后重新编码为H264(video/avc)/AAC(audio/mp4a-latm)，最后合成可播放的音视频文件。 3.技术核心 关注该技术的同学，一般都能从网络上搜到如Android设...
音视频：使用 MediaExtractor 和 MediaMuxer 解析和封装 MP4
Toner 的博客
02-02 1294
今天来学习一下如何解析和封装 MP4。这次我们使用的 API 是 MediaExtractor 和 MediaMuxer。 一个用来解析，一个用来封装。 API 简介 MediaExtractor 是什么？ 顾名思义，MediaExtractor 可以从数据源中提取经过编码的媒体数据。MediaExtractor 不仅可以解析本地媒体文件，还可以解析网络媒体资源。 MediaMuxer ...
mediamuxer+MediaExtratoc+MediaCodec剪视频
06-07
要剪切视频，我们需要使用MediaExtractor和MediaMuxer来提取和合成视频数据，同时使用MediaCodec来对视频数据进行编解码操作。 具体步骤如下： 1. 使用MediaExtractor从源视频文件中获取视频轨道和音频轨道的信息...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值