香橙派5Plus使用rkmpp硬件解码的速度优化与输出格式更改

一、前言

        最近在做图像解码的硬件加速，开发板使用的香橙派 5Plus，CPU为 RK3588。

        问题一：手动编译了新的 ffmpeg-rockchip 后，解码速度提升了近一倍！

        问题二：使用 h264_rkmpp 解码器的默认输出格式为 RK_FORMAT_YCbCr_420_P（Planar），但是 RK 官方的 demo 默认都是使用 RK_FORMAT_YCbCr_420_SP（Semi-Planar），也就是 nv12。具体的细节可以看这篇文章：

YUV422 YUV420 Planar Semi-Planar详解_yuv420semiplanar-优快云博客https://blog.youkuaiyun.com/qq_25005909/article/details/79480935https://blog.youkuaiyun.com/qq_25005909/article/details/79480935

二、解码速度和像素格式对比

        具体的编译流程见这篇文章：

编译支持 RKmpp 和 RGA 的 ffmpeg 源码_rk3588手动编译ffmpeg源码-优快云博客https://blog.youkuaiyun.com/plmm__/article/details/146188927?spm=1001.2014.3001.5501https://blog.youkuaiyun.com/plmm__/article/details/146188927?spm=1001.2014.3001.5501

出厂系统

测试解码：

ffmpeg -c:v h264_rkmpp -i 720p60hz.mp4 -f null -

这里的测试视频我使用1280*720的像素，解码过程中，使用另一个会话查看 vpu 的使用情况：

cat /proc/mpp_service/sessions-summary

可以看到是正常调用的：

可以看到输出的格式为 yuv420p，对应枚举类型 RK_FORMAT_YCbCr_420_P（Planar）。

此时速度为11.1倍：

手动编译

解码情况：

可以看到输出的格式为 nv12，对应枚举类型 RK_FORMAT_YCbCr_420_SP（Semi-Planar）。

查看vpu：

       此时速度为24.8倍：

三、解码器对比

        使用下面的方式查看：

ffmpeg -h decoder=h264_rkmpp

出厂系统

手动编译

        可以看到，它们支持的硬件设备不同，像素格式也不同，我怀疑出场系统的 ffmpeg 虽然使用了rkmpp解码，但是可能更多的还是依赖cpu，具体原因香橙派客服选择拒绝我的问题，假装没看见。

        通过解码速度可以看出，手动编译的确实更适合实时传输的场景，例如我正在做的 YOLO 加速引擎，视频的解码就是一个需要优化的因素。

四、其他

        关于 RGA 加速库的使用，目前还在开发和探索，RGA 也是可以编译进 ffmpeg-rockchip 的，目前我是直接操作 rga 的接口，相对更便捷一些。