安卓camera2获取到的YUV420_888格式详解

原创

于 2023-10-12 07:30:13 发布 · 1.6k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#android

本文详细介绍了在Android平台的camera2API中，如何正确处理和解析YUV420_888格式的摄像头数据，包括分辨Planar和Semi-Planar格式的区别，以及如何根据PixelStride和RowStride判断数据结构并进行相应的数据处理。

本文字数：7885字

预计阅读时间：45分钟

安卓音视频开发中的一个环节是摄像头采集数据，而 Android 平台上摄像头采集的 API 有两套，camera1 和 camera2。本文主要讲的是 camera2 这套 API 在采集数据并指明 YUV420_888 格式时，获取到的摄像头 YUV 数据格式具体是怎么样的。

背景/问题

之所以写这篇文章也是因为作者在开发过程中遇到了一些坑，然后在网上查阅资料后总结了一下内容。首先先说一下我遇到的问题：按照 API 的写法，获取摄像头数据，是在预览的回调中去获取数据，常用的会设置获取数据的格式为 YUV_420_888 ，如下：mImageReader = ImageReader.newInstance(1920, 1080, ImageFormat.YUV_420_888,2)。

然后在回调中去获取数据，比如如下：mImageReader.setOnImageAvailableListener

private byte[] y;
    private byte[] u;
    private byte[] v;
    private ReentrantLock lock = new ReentrantLock();
    @Override
    public void onImageAvailable(ImageReader reader) {
        Image image = reader.acquireNextImage();
        // Y:U:V == 4:2:2
        if (image.getFormat() == ImageFormat.YUV_420_888) {
            Image.Plane[] planes = image.getPlanes();
            // 加锁确保y、u、v来源于同一个Image
            lock.lock();
            // 重复使用同一批byte数组，减少gc频率
            if (y == null || u == null || v == null) {
                y = new byte[planes[0].getBuffer().limit() - planes[0].getBuffer().position()];
                u = new byte[planes[1].getBuffer().limit() - planes[1].getBuffer().position()];
                v = new byte[planes[2].getBuffer().limit() - planes[2].getBuffer().position()];
            }
            if (image.getPlanes()[0].getBuffer().remaining() == y.length) {
                planes[0].getBuffer().get(y);
                planes[1].getBuffer().get(u);
                planes[2].getBuffer().get(v);
                
                encodeData(y,u,v);    //拿到y,u,v数据然后处理
            }
            lock.unlock();
        }
        image.close();
    }
}, mainHandler);

作者在一开始的时候，觉得拿到 y，u，v 数据了，那就可以直接拿去处理了，但是发现最终出来的图像是有问题的。于是觉得有点蹊跷，就开始去查阅相关资料。下面继续：