Android 音视频录制（2）——Buffer录制

概述

没有看上一篇Surface录制的小伙伴，先去看了Android音视频录制概述 和Android音视频录制（1）——Surface录制 这两篇文章在来看此篇文章。

看完此篇文章后，另外推荐一篇文章Android全关键帧视频录制——视频编辑必备

正如前面文章说的，surface录制是将摄像头数据通过egl和opengl绘制到编码器surface最后输出到文件的，buffer录制则是更直接，直接将摄像头数据灌输到编码器，让编码器直接编码数据后输出到文件，具体详见下文。

因为在surface录制 中已经详细说了音频数据的录制，在这篇文章中就不说音频轨道的录制，因为音频录制的代码和原理基本一样的，所以为了不浪费大家的精力，在这里只讲述视频轨道数据的录制，下面让我们开始旅程吧。

流程综述：Camera绑定SurfaceView, 通过onPreviewFrame()得到摄像头数据，再把数据输入到视频编码器MediaCodec中，编码完成后输出编码数据给音视频混合器MediaMuxer，最后由MediaMuxer写入数据到文件。

再次说明，请先看了Android音视频录制概述 和Android音视频录制（1）——Surface录制 这两篇文章在来看此篇文章，否则有些知识点可能会看不懂。当然，除此外，看这篇文章，小伙伴们除了对之前说的Android多媒体库（MediaCodec/MediaMuxer/Camera等）有必要的了解外，对YUV视频帧数据也需要做一定的了解，因为Buffer录制的数据是基于YUV的视频帧数据的。对于颜色模式了解，非常小伙伴看这两篇文章Android颜色模式详解 和YUV详解

预览

在Android音视频录制（1）——Surface录制 中我们采用的是GLSurfaceView作为视频数据载体来录制，而在这篇文章中我们是采用SurfaceView作为数据载体来录制。原因是如果采用GLSurfaceView,要得到摄像头的YUV数据会非常的困难，因为通过GLSurfaceView得到的是ARGB数据，要手动的转一遍YUV数据，会有巨大的性能问题。
初始化摄像头的时候，必须要指定摄像头的数据预览格式为NV21(YUV数据的一种)，摄像头初始化完成后绑定SurfaceView，在onPreviewFrame()回调中得到预览的NV21数据，将此数据提供给编码器。下面是预览相关的代码。

package lda.com.myrecorder;

import android.app.Activity;
import android.graphics.Bitmap;
import android.graphics.ImageFormat;
import android.hardware.Camera;
import android.media.MediaMetadataRetriever;
import android.os.Environment;
import android.os.Bundle;
import android.util.Log;
import android.view.SurfaceHolder;
import android.view.SurfaceView;
import android.view.View;
import android.widget.Button;

import java.io.File;
import java.io.IOException;
import java.util.List;

public class PreviewActivity extends Activity {
   

    private static final String TAG = PreviewActivity.class.getSimpleName();
    private Button mRecordCtrlView;
    private Button mCapturePictureView;
    private Button mSwitchCameraView;
    private SurfaceView mSurfaceView;
    private Camera mCamera;
    private SurfaceHolder mSurfaceHolder;
    private SurfaceHolder.Callback mSurfaceCallback;
    private Camera.Parameters mParameters;
    private Camera.PreviewCallback mPreviewCallback;
    private MMuxer mMuxer;
    private VideoEncoder mVideoEncoder;
    private boolean mIsRecording = false;
    private long mPreviewImgTime = 0;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_preview);

        initData();
        initView();
    }

    private void initData() {
        mSurfaceCallback = new SurfaceHolder.Callback() {
            @Override
            public void surfaceCreated(SurfaceHolder surfaceHolder) {
                boolean isInit = true;
                if(mCamera == null){
                    isInit = initCamera();
                    Log.d(TAG, "surfaceCreated format: " + mCamera.getParameters().getPreviewFormat());
                }
                if(isInit){
                  startPreview();
                }
            }

            @Override
            public void surfaceChanged(SurfaceHolder surfaceHolder, int i, int i1, int i2) {

            }

            @Override
            public void surfaceDestroyed(SurfaceHolder surfaceHolder) {

            }
        };
        mPreviewImgTime = 0;
        mPreviewCallback = new Camera.PreviewCallback() {
            @Override
            public void onPreviewFrame(byte[] bytes, Camera camera) {
                if(mIsRecording) {
                    Frame frame = new Frame();
                    frame.mData = bytes;
                    frame.mTime = System.nanoTime() / 1000;
                    if(frame.mTime - mPreviewImgTime > 1000 * 1000) {
//                        VideoEncoder.saveBitmap(frame, mCamera.getParameters().getPreviewFormat());
                        mPreviewImgTime = frame.mTime;
                    }
                    //将预览的nv21数据传递给编码器
                    mVideoEncoder.addFrame(bytes);
                }
            }
        };
    }

    private void startPreview() {
        try {
            //绑定surfaceview
            mCamera.setPreviewDisplay(mSurfaceHolder);
            mCamera.startPreview();//开始预览
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    //初始化摄像头
    private boolean initCamera() {
        int num = Camera.getNumberOfCameras();
        if(num <= 0){
            return false;
        }
        boolean open = true;
        try {
            if (num == 1) {
                mCamera = Camera.open(0);
            } else {
                mCamera = Camera.open(1);
            }
            mCamera.setPreviewCallback(mPreviewCallback);
            mParameters = mCamera.getParameters();
            mParameters.setRotation(90);
            mParameters.setPreviewFormat(ImageFormat.NV21); // 设置NV21预览格式
            List<Camera.Size> list = mCamera.getParameters().getSupportedPreviewSizes();
            if(list != null && !list.isEmpty()){
                for(Camera.Size size : list){
                    Log.d(TAG, "camera support size=" + size.width + " " + size.height);
                }
                for(Camera.Size size : list){
                    if(size.height == Config.VIDEO_WIDTH && size.width == Config.VIDEO_HEIGHT){
                        mParameters.setPreviewSize(size.width, size.height);//预览带下
                        mCamera.setParameters(mParameters);
                        mCamera.setDisplayOrientation(90);//预览方向
                        return true;
                    }
                }
            }
        }catch (Exception e){

        }
        return false;
    }

    private void initView() {
        mRecordCtrlView = (Button)findViewById(R.id.record_ctrl);
        mCapturePictureView = (Button)findViewById(R.id.catch_pic);
        mSwitchCameraView = (Button)findViewById(R.id.switch_camera);
        mSurfaceView = (SurfaceView)findViewById(R.id.preview_view);
        mSurfaceHolder = mSurfaceView.getHolder();
        mSurfaceHolder.addCallback(mSurfaceCallback);

        mRecordCtrlView.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
                if(mIsRecording){
                    mRecordCtrlView.setText("开始录制");
                    mVideoEncoder.stop();
                    new Thread(new Runnable() {
                        @Override
                        public void run() {
                            try {
                                Thread.sleep(3000);
                                printVideoInfo();
                                saveFirstFrame();

                            } catch (InterruptedException e) {
                                e.printStackT