阿飞的博客

项目中对摄像头的实时画面进行一些处理后，有需求将处理后的画面进行编码并推流，然后在其他设备上可以直接拉流播放，所以需要我们直接使用 C++ API 进行推流操作了。由于我这边服务端的设备是 RK3588 的开发板，推荐是使用 MPP 库进行编码，它会直接使用 VPU 设备进行硬编码，性能会好很多。使用mpp进行单独的硬编码，将YUV数据编码为H264数据；使用ffmpeg把编码好的H264数据写入到服务端；使用mediamtx作为服务端，管理写入的H264数据以及和客户端的连接等。

RGA (Raster Graphic Acceleration Unit)是一个独立的2D硬件加速器，可用于加速点/线绘制，执行图像缩放、旋转、bitBlt、alpha混合等常见的2D图形操作。因为使用了硬件加速，图像操作的性能会比 CPU 快上不少。

笔者在项目开发中遇到这样一个需求，硬件同事在 RK3588 麒麟v10系统（本质还是基于Linux系统）开发板上已经安装好了摄像头和相关驱动，现在需要软件去使用这个摄像头并使用摄像头捕捉的画面做一些开发。之前使用 OpenCV 的能打开摄像头并拿到画面帧，但 OpenCV 默认是给我们转为 BGR888 格式的帧返回的，其内部做了转码操作，其一是转码操作如果是跑的 CPU 可能性能不高，其二是需要拿到 YUV 数据使用所以不需要做额外的转码操作。所以决定使用GStreamer直接去打开摄像头设备并获取流。

头文件内容不多，唯一需要注意的是 init()、encodeFrame()、deinit() 这三个函数需要用户自己保证线程安全性。下载的时候也提到过，仓库下载下来是有文档的，建议大家在使用前也先看看官方的示例代码和使用文档，帮助大家更好的学习和理解使用。因为我的系统是 linux aarch64 架构，就以此为例。上述代码仓库中是有详细文档的，遇到什么问题的时候可以多多参考一下官方文档。下面是我实际项目应用中编写的封装类，且提供了比较详细的注释，作为一个参考吧。上述是一个简单的调用流程，其中。