Gstreamer + OpenCV - www.deltavision.io

最新推荐文章于 2025-09-24 11:16:11 发布

原创

最新推荐文章于 2025-09-24 11:16:11 发布 · 1.3k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#Gstreamer #OpenCV #Deltavision.io

本文探讨了在嵌入式平台如ARM系统上，为何需要在OpenCV中使用Gstreamer，以减少图像处理中的数据拷贝，提高性能。通过Gstreamer，可以利用硬件加速、处理不同输入源和输出显示。文章指出，由于ARM系统内存操作速度较慢，特别是在处理uncached DMA Buffer时，应避免CPU拷贝，而OpenCV的某些函数如cvtColor和clone可能导致大量CPU资源消耗。虽然OpenCV支持OpenCL加速，但在实时图像处理中，由于数据加载到GPU内存的过程存在拷贝，这在嵌入式设备上并不理想。作者建议，在特定场景下，可以通过修改OpenCV或使用异步处理来解决拷贝问题，优化性能。

Gstreamer

首先,要先讨论下为什么需要在OpenCV上用上Gstreamer. 比如直接一个摄像头 v4l2 图像传给 OpenCV 不行吗?

Gstreamer是嵌入式平台处理Media的首选组件, 像Nvdia/TI/NXP/Rockchip平台, 都是使用Gstreamer来整合Media应用. 在Rockchip平台上, 已经有为Gstreamer开发了像Decode/Encode/ISP-Camera/2D加速器/DRM-Display-sink这些的Plugin.

所以OpenCV如果链接上Gstreamer, 输入源就不仅仅是摄像头, 还可以是RTSP/本地视频；输出显示的代码可以不用写, 让Gstreamer来显示；转换格式让Gstreamer来转, 利用硬件加速; 处理的图像送回Gstreamer编码.

ARM

在ARM系统上做Media的开发, 有一个原则要很重要, 就是 : 避免拷贝.
如果你手边正好有一块ARM板子和Linux PC, 可以尝试在上面跑一些memcpy的Test. 一般来说, 测试的性能会相差5,6倍. 即时是DDR同频的两个系统, 性能也会差到3-4倍(不过也可能是DDR其他参数有影响?). 内存操作速度的劣势是RISC天生的, ARM也不列外. (虽然也没有研究过对应微处理器结构,道听途说 :-P)

还有一个更影响速度的就是, 这些Buffer一般都是uncached的DMA Buffer, 为了保证cpu和其他ip的内存一致性, 所以CPU读写速度就更慢了..

在开发OpenCV + Gstreamer的过程中, 一定要尽量避免拷贝的发生, 如果一定要有, 也不能是由CPU来做. (替代可以是2D加速器, GPU) (当然这里用2D加速拷出来后buffer，默认还是uncached的，还是不适合CPU直接在上面处理，就算改成cache的，cache刷新的时间也要10ms+。。不过如果你的算法需要CPU去实时处理每帧的话，一般的ARM CPU都做不到吧)