在RK3568上使用C++通过V4L2捕获视频流，使用RKMPP编解码

本文链接：https://blog.youkuaiyun.com/Taylor_0522/article/details/145509678

在RK3568上使用C++通过V4L2捕获视频流并结合RKMPP进行编解码，可以按以下步骤实现：

1. V4L2 初始化与视频流捕获

1.1 打开设备并设置格式

#include <linux/videodev2.h>
#include <fcntl.h>
#include <sys/ioctl.h>

int fd = open("/dev/video0", O_RDWR);
if (fd < 0) { /* 错误处理 */ }

// 检查设备是否支持流式传输
v4l2_capability cap;
ioctl(fd, VIDIOC_QUERYCAP, &cap);
if (!(cap.capabilities & V4L2_CAP_VIDEO_CAPTURE)) { /* 错误处理 */ }

// 设置视频格式（如NV12）
v4l2_format fmt = {};
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.width = 1920;
fmt.fmt.pix.height = 1080;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_NV12; // 确保RKMPP支持此格式
fmt.fmt.pix.field = V4L2_FIELD_NONE;

if (ioctl(fd, VIDIOC_S_FMT, &fmt) < 0) { /* 错误处理 */ }

1.2 申请缓冲区

#include <sys/mman.h>

v4l2_requestbuffers req = {};
req.count = 4;
req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
req.memory = V4L2_MEMORY_MMAP; // 或使用DMA缓冲区（V4L2_MEMORY_DMABUF）

if (ioctl(fd, VIDIOC_REQBUFS, &req) < 0) { /* 错误处理 */ }

// 映射内存到用户空间
struct buffer {
    void* start;
    size_t length;
};
std::vector<buffer> buffers(req.count);

for (int i = 0; i < req.count; ++i) {
    v4l2_buffer buf = {};
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    buf.index = i;
    ioctl(fd, VIDIOC_QUERYBUF, &buf);
    
    buffers[i].length = buf.length;
    buffers[i].start = mmap(nullptr, buf.length, PROT_READ, MAP_SHARED, fd, buf.m.offset);
}

1.3 启动视频流

v4l2_buffer buf = {};
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;

// 将所有缓冲区入队
for (int i = 0; i < req.count; ++i) {
    buf.index = i;
    ioctl(fd, VIDIOC_QBUF, &buf);
}

// 启动流
ioctl(fd, VIDIOC_STREAMON, &buf.type);

2. RKMPP 编解码器初始化

2.1 创建MPP上下文

#include <rockchip/mpp/rk_mpi.h>

MppCtx mpp_ctx;
MppApi* mpp_api;
MppBufferGroup buf_grp;

mpp_create(&mpp_ctx, &mpp_api);
mpp_init(mpp_ctx, MPP_CTX_ENC, MPP_VIDEO_CodingAVC); // 示例使用H.264编码

// 配置编码参数
MppEncCfg enc_cfg;
mpp_enc_cfg_init(&enc_cfg);
mpp_api->control(mpp_ctx, MPP_ENC_GET_CFG, enc_cfg);

// 设置分辨率、码率等
mpp_enc_cfg_set_s32(enc_cfg, "prep:width", 1920);
mpp_enc_cfg_set_s32(enc_cfg, "prep:height", 1080);
mpp_enc_cfg_set_s32(enc_cfg, "rc:bitrate", 4000000);
mpp_api->control(mpp_ctx, MPP_ENC_SET_CFG, enc_cfg);

3. 主循环：捕获帧并编码

3.1 从V4L2捕获帧

while (true) {
    fd_set fds;
    FD_ZERO(&fds);
    FD_SET(fd, &fds);
    select(fd + 1, &fds, nullptr, nullptr, nullptr);

    v4l2_buffer buf = {};
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    ioctl(fd, VIDIOC_DQBUF, &buf); // 取出缓冲区

    void* v4l2_data = buffers[buf.index].start;
    size_t data_len = buf.bytesused;
    
    // 处理数据...
    
    ioctl(fd, VIDIOC_QBUF, &buf); // 重新入队
}

3.2 将数据传递给RKMPP编码

// 创建MPP输入缓冲区（假设V4L2使用DMA内存）
int dmabuf_fd = export_dma_fd_from_v4l2(buf.index); // 需要实现导出dmabuf
MppBuffer mpp_buf;
mpp_buffer_create_with_fd(&mpp_buf, dmabuf_fd, data_len);

// 填充MPP输入帧
MppFrame frame;
mpp_frame_init(&frame);
mpp_frame_set_buffer(frame, mpp_buf);
mpp_frame_set_width(frame, 1920);
mpp_frame_set_height(frame, 1080);
mpp_frame_set_fmt(frame, MPP_FMT_YUV420SP); // 与V4L2格式一致

// 编码
mpp_api->encode_put_frame(mpp_ctx, frame);
mpp_api->encode_get_packet(mpp_ctx, &packet);

// 处理编码后的数据（如保存到文件）
if (packet) {
    void* encoded_data = mpp_packet_get_data(packet);
    size_t encoded_size = mpp_packet_get_length(packet);
    // 写入文件或传输...
    mpp_packet_deinit(&packet);
}

mpp_buffer_put(mpp_buf); // 释放缓冲区

4. 清理资源

// 停止V4L2流
ioctl(fd, VIDIOC_STREAMOFF, &buf.type);

// 释放V4L2资源
for (auto& buf : buffers) munmap(buf.start, buf.length);
close(fd);

// 释放RKMPP资源
mpp_destroy(mpp_ctx);
mpp_enc_cfg_deinit(enc_cfg);

关键注意事项

内存共享：使用dmabuf实现零拷贝，需在V4L2中申请V4L2_MEMORY_DMABUF类型缓冲区，并通过VIDIOC_EXPBUF导出fd。
格式匹配：确保V4L2的输出格式（如NV12）与RKMPP的输入格式一致。
线程模型：建议分离捕获和编码线程，使用队列传递数据。
错误处理：检查所有ioctl和MPP API的返回值。
性能优化：调整缓冲区数量、线程优先级，使用硬件加速路径。