Android Camera2(2)-Image中获得YUV数据以及YUV格式理解

1、Image介绍

Image类允许应用通过一个或多个ByteBuffers直接访问Image的像素数据， ByteBuffer包含在Image.Plane类中，同时包含了这些像素数据的配置信息。因为是作为提供raw数据使用的，Image不像Bitmap类可以直接填充到UI上使用。

因为Image的生产消费是跟硬件直接挂钩的，所以为了效率起见，Image如果不被使用了应该尽快的被销毁掉。如果Image的数量到达了maxImages，不关闭之前老的Image，新的Image就不会继续生产。
image的data被存储在Image类里面，构造参数maxImages控制了最多缓存几帧，新的images通过ImageReader的surface发送给ImageReader，类似一个队列，需要通过acquireLatestImage()或者acquireNextImage()方法取出Image。如果ImageReader获取并销毁图像的速度小于数据源产生数据的速度，那么就会丢帧。

...
          //构造一个ImageReader的实例，设置宽高，输出格式，缓存max数量
           mImageReader = ImageReader.newInstance(previewSize.getWidth(), previewSize.getHeight(), ImageFormat.JPEG, 2);
           mImageReader.setOnImageAvailableListener(mOnImageAvailableListener, mCameraHandler);
...
private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
        @Override
        public void onImageAvailable(ImageReader reader) {
            Image image = reader.acquireNextImage();
            ...
            image.close();
        }
    };

部分重要API:

• acquireLatestImage() - 从ImageReader队列中获取最新的一帧Image，并且将老的Image丢弃，如果没有新的可用的Image则返回null。此操作将会从ImageReader中获取所有可获取到的Images，并且关闭除了最新的Image之外的Image。此功能大多数情况下比acquireNextImage更推荐使用，更加适用于视频实时处理。
  需要注意的是maxImages应该至少为2，因为丢弃除了最新的之外的所有帧需要至少两帧。换句话说，(maxImages - currentAcquiredImages < 2)的情况下，丢帧将会不正常。
• acquireNextImage() - 从ImageReader的队列中获取下一帧Image，如果没有新的则返回null。
  Android推荐我们使用acquireLatestImage来代替使用此方法，因为它会自动帮我们close掉旧的Image，并且能让效率比较差的情况下能获取到最新的Image。acquireNextImage更推荐在批处理或者后台程序中使用，不恰当的使用本方法将会导致得到的images出现不断增长的延迟。
• close() - 释放所有跟此ImageReader关联的资源。调用此方法后，ImageReader不会再被使用，再调用它的方法或者调用被acquireLatestImage或acquireNextImage返回的Image会抛出IllegalStateException，尝试读取之前Plane#getBuffer返回的ByteBuffers将会导致不可预测的行为。
• newInstance(int width, int height, int format, int maxImages) - 创建新的reader以获取期望的size和format的Images。maxImages决定了ImageReader能同步返回的最大的Image的数量，申请越多的buffers会耗费越多的内存空间，使用合适的数量很重要。
  format ：reader生产的Image的格式，必须是ImageFormat或PixelFormat中的常量，并不是所有的formats都会被支持，比如ImageFormat.NV21就是不支持的，Android一般都会支持ImageFormat_420_888。
  maxImages：缓存的最大帧数，必须大于0。

2、YUV数据和格式理解

camera2设置为YUV420_888时可以得到ImageReader会得到三个Plane，分别对应y,u,v，每个Plane都有自己的规格。介绍两个Plane重要参数：

• getRowStride
  getRowStride是每一行数据相隔的间隔，存储图像每行数据的宽度。getRowStride并不一定等于camera预览的宽度，由于系统硬件等各方面的原因，存储数据时需要对齐，比如图像的宽为98字节，但是实际存储的过程中一行图像数据可能用100字节。此时image.rowStride=100，而image.getWidth=98。
• getPixelStride
  代表行内两个连续颜色值之间的距离，假如是步长为2，意味索引间隔的原色才是有效的元素，中间间隔的元素其实是没有意义的。而Android中确实也是这么做的，比如某个plane[1]（U分量）的步长是2，那么数组下标0,2,4,6,…的数据就是U分量的，而中间间隔的元素Android会补上V分量，也就是会是UVUVUV…这样去分布。但是当最后一个U分量出现后，最后一个没有意义的元素Android就不补了，也就是最后的V分量就不会补了，即是这样分布：UVUVUV…UVUVU。
  YUV_420_888的存储又分YUV420分为Planar格式（P）和Semi-Planar格式（SP）两大类，最主要的区别是：
    Planar格式（P）按平面分开放，先把U存放完后，再存放V。U是连续的，V也是连续的
  即：YYYYYUUUUUVVVV
    Semi-Planar格式（SP）只有Y数据一个平面，UV数据合用一个平面。
  即：YYYYYUVUVUV…
  在使用Android Api以下函数时，得到平面的SP格式:

 mImageReader = ImageReader.newInstance(mPreviewSize.getWidth(), mPreviewSize.getHeight(),
                        ImageFormat.YUV_420_888, 2);

对于SP格式，得到的图像有两种典型类型：rowStride = Width的，（以6*4的图像进行说明）即：

另一种是rowStride != Width的，即

3、获取NV21格式数据

nv21图像数组的长度一定是长×宽×3/2，其中y数据的大小是长×宽（因为每个像素都有一个y值），接着所有像素的u,v值总共有(长×宽×1/2)个。
通过image.getPlanes()[1].getBuffer()得到的Plane就是一个包含像素所有u,v值的缓存区域，它的大小就是长×宽×1/2。
注意事项:

1. 获得真正消除的padding的ybuffer和ubuffer。
2. 将y数据和uv的交替数据(除去最后一个v值）赋值给nv21。
3. 最后一个像素值的u值是缺失的，因此需要从u平面取一下。

   public static byte[] YUVToNV21_NV12(Image image, String type) {
   		int w = image.getWidth(), h = image.getHeight();
   		byte[] nv21 = new byte[w * h * 3 / 2];
   		Image.Plane[] planes = image.getPlanes();
   		int remaining0 = planes[0].getBuffer().remaining();
        int remaining1 = planes[1].getBuffer().remaining();      
        int remaining2 = planes[2].getBuffer().remaining();
		int rowOffest = planes[2].getRowStride();
		//分别准备三个数组接收YUV分量
		byte[] yRawSrcBytes = new byte[remaining0];
        byte[] uRawSrcBytes = new byte[remaining1];
        byte[] vRawSrcBytes = new byte[remaining2];
        planes[0].getBuffer().get(yRawSrcBytes);
        planes[1].getBuffer().get(uRawSrcBytes);
        planes[2].getBuffer().get(vRawSrcBytes);

		//根据每个分量的size生成byte数组
		byte[] ySrcBytes = new byte[w * h];
        byte[] uSrcBytes = new byte[w * h / 2 - 1];
        byte[] vSrcBytes = new byte[w * h / 2 - 1];
        if (type.equals("NV12")) {
        	 for (int row = 0; row < h; row++) {
                  //源数组每隔 rowOffest 个bytes 拷贝 w 个bytes到目标数组
                  System.arraycopy(yRawSrcBytes, rowOffest * row, ySrcBytes, w * row, w);
                  //y执行两次，uv执行一次
                  if (row % 2 == 0) {
                      //最后一行需要减一
                       if (row == h - 2) {
                           System.arraycopy(uRawSrcBytes, rowOffest * row / 2, uSrcBytes, w * row / 2, w - 1);
                        } else {
                           System.arraycopy(uRawSrcBytes, rowOffest * row / 2, uSrcBytes, w * row / 2, w);
                        }
                  }
             }
             //yuv拷贝到一个数组里面
             System.arraycopy(ySrcBytes, 0, nv21, 0, w * h);
             System.arraycopy(uSrcBytes, 0, nv21, w * h, w * h / 2 - 1);
   	  	} else {
   	  		for (int row = 0; row < h; row++) {
                  //源数组每隔 rowOffest 个bytes 拷贝 w 个bytes到目标数组
                  System.arraycopy(yRawSrcBytes, rowOffest * row, ySrcBytes, w * row, w);
                  //y执行两次，uv执行一次
                  if (row % 2 == 0) {
                      //最后一行需要减一
                       if (row == h - 2) {
                           System.arraycopy(vRawSrcBytes, rowOffest * row / 2, vSrcBytes, w * row / 2, w - 1);
                        } else {
                           System.arraycopy(vRawSrcBytes, rowOffest * row / 2, vSrcBytes, w * row / 2, w);
                        }
                  }
             }
             //yuv拷贝到一个数组里面
             System.arraycopy(ySrcBytes, 0, nv21, 0, w * h);
             System.arraycopy(vSrcBytes, 0, nv21, w * h, w * h / 2 - 1);
   	  	}
   	  	return nv21;
 }