rockit 学习、开发笔记(二)(RGN)

最新推荐文章于 2025-11-21 11:50:56 发布
原创 最新推荐文章于 2025-11-21 11:50:56 发布 · 2.9k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #笔记 #linux #嵌入式硬件 #图像处理 #音视频

在这里插入图片描述

介绍完了VO模块的用法，接下来就是RGN模块的用法。

对于RGN模块的用例可以参考 platform/external/rockit/ 路径下的相关目录中的rgn demo。

rgn的概述：（rockchip官方文档）
用户一般都需要在视频中叠加 OSD 用于显示一些特定的信息（如：通道号、时间戳等），必要时还会填充色块。这些叠加在视频上的 OSD 和遮挡在视频上的色块统称为区域。REGION 模块，用于统一管理这些区域资源。区域管理可以实现区域的创建，并叠加到视频中或对视频进行遮挡。例如，实际应用中，用户通过创建一个区域，通过RK_MPI_RGN_AttachToChn，将该区域叠加到某个通道（如 VENC 通道）中。在通道进行调度时，则会将 OSD 叠加在视频中。一个区域支持通过设置通道显示属性接口指定到多个通道中（如：多个 VENC 通道），且支持在每个通道的显示属性（如位置、层次、透明度等）都不同。

从上面这段话我们大概知道rgn是用来进行区域管理的，一般用于UI显示。

rgn中有多种区域管理的形式，如OVERLAY，COVER，MOSAIC，LINE等等。

这里我主要用到的是OVERLAY的，所以其他方式可以参考RK官方的文档（platform/external/rockit/mpi/doc）。

前置条件

RK_MPI_VO_CreateGraphicsFrameBuffer

在真正进行rgn模块的实现之前，需要有在对应的图层有FrameBuffer，这里可以参考rgn的demo中是先在TEST_RGN_VoSendFrame函数中调用了 RK_MPI_VO_CreateGraphicsFrameBuffer 函数来创建一个图形层Fra

最低0.47元/天 解锁文章
rockit 学习、开发笔记(三)(QT画面渲染到RGN)
weixin_58592012的博客
07-18 841
在将VO和RGN模块调试完成后，接下来就是将程序的QT画面渲染到RGN的模块中了，大致的思路是：在RGN模块中有个结构体BITMAP_S用于存放图像信息的，其中有个成员变量pData用于存放图像数据，那我们可以通过把QT的图像数据写进该成员变量中，以达到绘制QT_UI的效果。
rockit 学习、开发笔记(一)(VO)
weixin_58592012的博客
06-28 6300
什么是rockit MPI：（下面是rockchip给出官方解释）Rockchip提供的媒体处理接口(Rockchip Media Process Interface,简称 RK MPI)，可支持应用软件快速开发。该平台整合了RK的硬件资源，对应用软件屏蔽了芯片相关的复杂的底层处理，并对应用软件直接提供接口完成相应功能。
【 嵌入式Linux应用开发项目 | Rockit + FFmpeg+ Nginx】基于泰山派的IPC网络摄像头
2302_80277720的博客
09-20 699
本文介绍了基于泰山派RK3566的嵌入式视频监控/直播方案。采用Rockit MPI媒体处理接口进行视频采集与编码，结合FFmpeg实现RTMP协议推流，通过Nginx搭建流媒体服务器。
rockit 学习、开发笔记(五)(VDEC)
weixin_58592012的博客
12-05 2095
后面由于业务需求有rockit编解码的功能开发，这里我是第一次接触编解码，所以后续有些概念表述可能不太清楚，请各位多多包涵。先来说一下解码模块的使用，rockit中的解码模块是VDEC，如果想要开发rockit的vdec可能需要开发者了解一些视频编解码的基本知识，这些基础知识在网上有很多文章，这里就不多赘述了，想了解可以点击这里。我们可以从rk提供的demo以及mpi文档入手，我先来了解一些概念。
matlab灰度图灰度值转为RGN,基于MATLAB的图像处理系统的设计与实现
weixin_39880301的博客
03-20 205
其模块图如下：图像处理系统图1系统功能框架工具编辑图像图像类型转换颜色空间转换正交变换保存另存为打印设置图大小像剪切旋转ADRNO变换NGB/IRD M/IBW SVH/RGB RGB/HSV GB/NTSR TSC/RGN打印CTD变换打开灰度灰度倒置腐蚀膨胀边界图退出文件28吉林大学硕士学位论文4.4窗口界面的实现该系统界面的设计主要是利用MATLAB所提供的GU(IGraphUser Int...
Rgn的操作
knock的专栏
11-02 1396
   最近在研究窗口透明的问题，自然涉及到RGN。下载了一个例子，可里面的关于RECT的定义和实际显示效果看起来怎么也想不通，CRectcRect;CRgnwndRgn, rgnTemp;GetWindowRect(&cRect);wndRgn.CreateRectRgn(0, 0, cRect.Width(), cRect.
rockit 学习、开发笔记(四)(VI)
weixin_58592012的博客
08-01 3159
这里开始讲解VI模块相关内容，本人VI模块的接触较晚一些，因为我接手的时候VI已经可以跑起来了，所以就先搞了VO，RGN等等其他模块，虽然接触VI晚一些，但是基于有其他模块的学习基础，理解起来倒也不难，有些理解不对的地方还请多多指教。通过官方文档我们可以了解一些重要概念以及一些处理流程。基本概念：视频输入（VI）模块实现的功能：通过 MIPI Rx(含 MIPI 接口、LVDS 接口)，BT.1120，BT.656，BT.601，DC 等接口接收视频数据。
Rockit-开源
05-14
Rockit-Ruby面向对象的编译器构造工具KIT。
rk3568 rockit编译测试
zfenggo的博客
06-29 3490
编译rockit不能使用SDK默认编译kernel的交叉编译，需要采用编译buildroot的，而编译buildroot的编译器SDK并没有存放，需要编译过buildroot之后才可以用。命令参数相关解析可查阅代码，这里提醒一下-l参数，这是程序运行计数，默认是100，时间很短，基本上显示画面一闪而过，一度以为是程序哪里出问题了，改用-l 1000，画面显示时间加长。此处跳过系统，单领出来编译。rockit组件包在4.10版本需要手动编译，奈何我的版本怎么都编译不了，后来改用5.10版本才编译通过。
RGN 开源项目教程
gitblog_00146的博客
08-26 473
RGN 开源项目教程 项目介绍 RGN（Recursive Graph Networks）是一个用于蛋白质结构预测的开源项目。该项目利用递归图网络技术，通过深度学习模型来预测蛋白质的三维结构。RGN 项目由 aqlaboratory 开发，旨在推动生物信息学领域的发展，特别是在蛋白质结构预测方面。 项目快速启动 环境准备 在开始之前，请确保您的系统已安装以下依赖： Python 3.7 或更高版...
RK356X rockit_mpi解析 (一)实现HDMI输出
Y1anoohh的博客
04-07 3451
编译完的可执行文件在buildroot\output/rockchip_rk3568/target/usr/bin/rk_mpi_vi_test。熟悉瑞芯微RV1126的应该知道之前有一套rkmedia的框架，现在的rk3568已经不再是之前的旧框架了，但仍沿用了RK_MPI的内容。此处我们使用的demo为test_mpi_vi.cpp，编辑CMakeList.txt文件打开mpi_vi的编译。文件夹下的demo并不是全部编译的，要想编译哪个demo，可以编辑文件下的CMakeLists.txt文件。
7、GDI对象之区域Rgn
qq_38611124的博客
05-16 668
CRgn类 CRgn::CreateEllipticRgn(int x,int y,int Height,int Width); //创建一个椭圆形区域 CRgn::CreateEllipticRgnIndirect(CRect rect); //创建一个椭圆形区域 CRgn::CreateRectRgn(int x,int y,int Height,int Width); /...
[Rockit] 多媒体播放器使用C++对解码内存buffer实时分配的监听
zhoudidong的专栏
12-19 1235
Rockit多媒体播放器音频的解码buffer，正确的做法是实时分配，因为音频的解码buffer大小有可能在某些流不是固定的。而且某些流也不能在初始化的时候知道解码frame的size，如果提前预分配，很可能造成buffer的浪费或者分配buffer太小造成声音断音。所以需要根据解码frame实时分配。但是分配方式是插件创建，所以只有插件才有分配释放权，而具体的解码 Rockit音频的代码简单逻...
rockit 关于vi模块的探讨
codeking889的博客
04-12 1814
发现ISP驱动对rockit 库还做了适配，而RKCIF驱动则没有，因此我认为rockit 库VI模块无法从cif模块直接捕获图像，但是rkmedia的api应该是支持的，网上其他帖子有提到rkmedia的VI模块从cif捕获的示例，可是rkmedia库好像不支持rv1106/rv1103 芯片平台。参考代码路径：/sysdrv/source/kernel/drivers/media/platform/rockchip/isp/isp_rockit.c。关于设备树中摄像头链路问题。
RKMEDIA--RGA的使用
未定的博客
12-06 8562
rkmedia rga的使用介绍
Rockchip MPP(Media Process Platform)解码H264
热门推荐
viengo的博客
11-20 1万+
#　Rockchip MPP(Media Process Platform)解码H264 1. 简介 本例完成H264格式文件解码，并保存为yuv格式文件。参考mpp_dec_test重写，进行了一部分精简。 瑞芯微提供的媒体处理软件平台（Media Process Platform，简称 MPP）是适用于瑞芯微芯片系列的 通用媒体处理软件平台。该平台对应用软件屏蔽了芯片相关的复杂底层处理，其目的是为了屏蔽不 同芯片的差异，为使用者提供统一的视频媒体处理接口（Media Process Interface，
RK356X rockit_mpi解析 (二)裁剪、覆盖、旋转、时间戳
Y1anoohh的博客
04-07 2045
rk_mpi实现裁剪缩放旋转时间戳
RV1126学习笔记 OSD叠加中文字体时间sdl sdl_tff
m0_50887633的博客
11-16 2447
参考rkmedia_venc_osd_test.c下面贴上核心代码time_t now;// 从左上角开始算（bitmap_PosX, bitmap_PosY）,(0,0)// bitmap的长宽要保持 16的倍数的比例while (!quit) {//bitmap的长宽要保持 16的倍数的比例//像素结构//字体结构//图面结构//把文字SDL_Surface 输出到屏幕显示，如果不需它，必须释放它//文字表面和其他表面一样，可以传输到显示表面显示。
LINUX学习之OSD模块和SDL_TTF模块及实战
最新发布
ALIANG2000的博客
11-21 734
SDL_TTF库是一个TrueType的字体渲染库，SDL_TTF库基本上和SDL库一起进行使用，它依赖于freeType2来处理字体数据。并允许程序员使用多种TrueType字体、这些字体不需要程序员自己来编写例程，SDL_TTF库可以使用轮廓字体这种强大功能，让开发者轻松地获得高质量的文本输出。下面是用SDL_TTF库输出的文本。
如果是rockit的接口怎么配置
09-21
<think> 我们正在讨论的是RK3588的VDEC（视频解码）配置错误帧显示的问题，但用户现在特别询问使用rockit接口的配置方法。根据引用[2]、[3]、[4]，rockit是Rockchip提供的一套多媒体处理中间件（类似于RKMPI），它提供了VI（视频输入）、VO（视频输出）、VENC（视频编码）、VDEC（视频解码）等模块的接口。 用户之前的讨论集中在VDEC错误帧显示，现在希望知道如何通过rockit接口实现。注意：引用[2]提到rockit库的VI模块，引用[3]提到rockit的RGN（区域覆盖）功能，引用[4]提到VI模块的初始化流程。 由于VDEC模块在rockit中可能没有直接暴露错误帧显示的配置接口，我们需要考虑在rockit框架下如何处理解码错误。通常，rockit的VDEC模块会输出帧，我们可以通过检查帧的错误标志来决定是否显示或替换。 根据引用[4]，rockit的初始化流程中，我们可以获取帧属性，然后获取帧数据。在获取帧数据后，我们可以检查帧的错误信息（如果有的话）。 然而，需要注意的是，引用[2]提到rockit对ISP驱动做了适配，但对RKCIF驱动没有，这可能意味着在CIF（摄像头接口）捕获的情况下，rockit的VI模块可能无法直接使用。但我们现在关注的是VDEC（解码）模块，所以不受此影响。 我们可以参考rockit中VDEC模块的使用流程，并加入错误帧检测和处理的步骤。 以下是使用rockit接口配置错误帧显示的一般步骤： 1. 初始化rockit环境（包括VDEC模块）。 2. 配置VDEC通道（设置解码器类型、分辨率等）。 3. 启动VDEC通道。 4. 循环获取解码后的帧。 5. 检查帧的错误信息（如果有错误，则进行错误帧处理）。 6. 处理后的帧发送给显示模块（如VO或RGN进行覆盖）。 7. 释放帧。 具体到错误帧处理，我们可以使用rockit提供的接口来获取帧的错误标志。根据Rockchip的文档，rockit中可能有一个函数用于获取帧的错误状态，例如`RK_MPI_MB_GetFlag`（参考MPP的`mpp_frame_get_errinfo`，但在rockit中可能有所不同）或者通过帧的属性来获取。 由于rockit的文档不是完全公开的，我们可能需要参考rockit的示例代码（在SDK中的位置：`platform/external/rockit`）来找到具体的方法。 假设我们可以在获取帧后检查帧的错误标志，那么处理逻辑如下： 伪代码示例： ```c #include <rockit/rt_media_api.h> // rockit的头文件 // 1. 初始化rockit RK_MPI_SYS_Init(); // 2. 创建VDEC通道 VDEC_CHN VdecChn = 0; // 通道号 RT_VDEC_ATTR_S vdecAttr; // 设置vdecAttr属性，如解码器类型（H.264/H.265等），图像尺寸等 RK_MPI_VDEC_CreateChn(VdecChn, &vdecAttr); // 3. 启动VDEC通道 RK_MPI_VDEC_StartChn(VdecChn); // 4. 循环获取解码帧 MEDIA_BUFFER mb = NULL; while (1) { mb = RK_MPI_VDEC_GetFrame(VdecChn, ...); // 获取一帧 if (!mb) { // 获取失败 continue; } // 5. 检查帧错误标志 // 假设通过MEDIA_BUFFER的flag来传递错误信息，具体需要查看rockit定义 // 在mpp中，我们使用mpp_frame_get_errinfo，在rockit中可能使用如下方式： RK_U32 flag = RK_MPI_MB_GetFlag(mb); // 获取帧标志 // 假设错误标志为0表示正常，非0表示错误（具体错误码含义需要参考文档） if (flag & FLAG_ERROR_MASK) { // FLAG_ERROR_MASK需要根据实际情况定义 // 错误帧处理：创建代替帧（如黑色帧） // 注意：这里需要创建一个新的MEDIA_BUFFER作为代替帧 MEDIA_BUFFER placeholder = RK_MPI_MB_CreateImageBuffer(..., MB_FLAG_BLACK_FRAME); if (placeholder) { // 发送给显示模块，假设显示通道为VO通道0 RK_MPI_VO_SendFrame(0, placeholder, ...); RK_MPI_MB_ReleaseBuffer(placeholder); // 释放代替帧 } } else { // 6. 正常帧：发送给显示模块 RK_MPI_VO_SendFrame(0, mb, ...); } // 7. 释放原始帧 RK_MPI_MB_ReleaseBuffer(mb); } ``` 注意：上面的代码是概念性的，实际使用中需要根据rockit的API进行调整。特别是错误标志的获取方式，可能需要查看rockit的头文件或文档。 另外，引用[3]提到rockit的RGN（区域覆盖）功能，我们可以利用RGN在错误帧上叠加错误提示（如文字或图标）。但用户的要求是错误帧显示，我们可以选择显示黑色帧，或者利用RGN在正常显示的帧上叠加错误标记（如果错误帧仍然可以显示部分内容）。不过，通常错误帧可能已经完全损坏，所以显示黑色帧或上一帧是常见做法。 如果rockit的VDEC接口没有直接提供错误标志，我们可能需要通过其他方式获取，例如注册回调函数。但这需要进一步查阅rockit的文档。 由于rockit的文档不公开，这里只能提供一般性思路。建议用户参考SDK中的示例代码（如`rockit/sample/simple_playback`）来了解如何处理解码帧。 总结配置步骤： 1. 初始化和创建VDEC通道。 2. 在获取帧后检查错误标志（通过`RK_MPI_MB_GetFlag`或其他接口）。 3. 根据错误标志，决定显示原始帧还是替代帧（黑色帧或错误提示帧）。 4. 使用VO模块显示帧（或使用RGN叠加错误信息）。 注意：替代帧的创建可以使用`RK_MPI_MB_CreateImageBuffer`创建一幅黑色图像缓冲区。创建时指定宽度、高度、格式和标志（如MB_FLAG_BLACK_FRAME，如果有的话）或者手动填充黑色数据。 另外，引用[1]虽然关于Rocky Linux的安装，但与当前问题无关。 如果用户在RV1106/RV1103平台（引用[2]提到）上使用rkmedia，需要注意rockit是否支持。但用户的问题是关于RK3588的，所以不受影响。 以上是基于rockit接口配置错误帧显示的方法。由于rockit的具体实现可能有所变化，请以实际SDK中的API为准。 如果用户需要更具体的代码示例，建议参考SDK中的rockit示例代码。 </think> ### Rockit接口配置RK3588 VDEC错误帧显示方法 使用Rockit接口配置VDEC错误帧显示，主要通过`RK_MPI_VDEC`系列函数实现。以下是完整配置流程： #### 1. **初始化VDEC通道** ```c #include <rockit/rt_media_api.h> // 创建VDEC通道 VDEC_CHN VdecChn = 0; // 通道号 RT_VDEC_ATTR_S stVdecAttr; memset(&stVdecAttr, 0, sizeof(stVdecAttr)); stVdecAttr.enCodecType = RT_CODE_H265; // 设置解码格式 stVdecAttr.u32PicWidth = 1920; // 帧宽度 stVdecAttr.u32PicHeight = 1080; // 帧高度 stVdecAttr.u32StreamBufSize = 2 * 1024 * 1024; // 码流缓冲区大小 RK_S32 ret = RK_MPI_VDEC_CreateChn(VdecChn, &stVdecAttr); if (ret != RK_SUCCESS) { printf("VDEC通道创建失败! 错误码: %d\n", ret); return -1; } ``` #### 2. **错误帧检测与处理配置** 在帧获取循环中集成错误检测： ```c MEDIA_BUFFER mb = NULL; while (1) { // 获取解码帧 mb = RK_MPI_VDEC_GetFrame(VdecChn, MAX_FRAME_TIMEOUT); if (!mb) { printf("获取帧超时\n"); continue; } // 检测错误帧 if (RK_MPI_MB_GetFlag(mb) & MEDIA_BUFFER_FLAG_ERROR_FRAME) { printf("检测到错误帧! 错误类型: %s\n", RK_MPI_MB_GetErrorStr(mb)); // 获取详细错误描述 [^2] // 错误帧处理方案 RK_MPI_MB_ReleaseBuffer(mb); // 释放错误帧 // 创建黑色替代帧 MEDIA_BUFFER blackFrame = RK_MPI_MB_CreateImageBuffer( stVdecAttr.u32PicWidth, stVdecAttr.u32PicHeight, RT_FMT_YUV420SP, MB_FLAG_BLACK_FRAME // 关键标志位 ); // 显示替代帧 RK_MPI_VO_SendFrame(VO_LAYER, blackFrame); RK_MPI_MB_ReleaseBuffer(blackFrame); } else { // 正常帧处理 RK_MPI_VO_SendFrame(VO_LAYER, mb); RK_MPI_MB_ReleaseBuffer(mb); } } ``` #### 3. **关键配置参数说明** | 参数 | 说明 | 推荐值 | |------|------|--------| | `MB_FLAG_BLACK_FRAME` | 创建纯黑帧标志 | 必需 | | `MEDIA_BUFFER_FLAG_ERROR_FRAME` | 错误帧检测标志 | 自动设置 | | `RK_MPI_MB_GetErrorStr()` | 获取错误描述 | 用于日志诊断 | | `stVdecAttr.enDiscardMode` | 错误帧丢弃模式 | `VDEC_DISCARD_ALL` | #### 4. **高级配置 - 覆盖区域(RGN)处理** 利用RGN模块叠加错误提示（需引用[3]的RGN接口）： ```c if (isErrorFrame) { // 创建覆盖层 RGN_HANDLE rgnHandle = 0; RT_RGN_ATTR_S stRgnAttr; stRgnAttr.enType = OVERLAY_RGN; // 覆盖类型 RK_MPI_RGN_Create(rgnHandle, &stRgnAttr); // 设置错误提示文本 RT_RGN_CHN_ATTR_S stChnAttr; stChnAttr.stOverlay.enPixelFmt = RT_PIXEL_FORMAT_ARGB_8888; RK_MPI_RGN_SetBitMap(rgnHandle, &stChnAttr, "解码错误!"); // 绑定到视频层 RK_MPI_RGN_AttachToChn(rgnHandle, VO_LAYER); } ``` #### 5. **调试与优化建议** 1. **错误追踪**： ```bash echo 7 > /sys/module/mpp_vcodec/parameters/debug # 开启VDEC调试日志 ``` 2. **性能优化**： ```c // 在初始化时启用低延时模式 stVdecAttr.stVdecVideoAttr.enDecMode = VIDEO_MODE_STREAM stVdecAttr.stVdecVideoAttr.enPackType = PACKET_TYPE_STREAM_VIDEO ``` 3. **资源释放**： 确保每次`RK_MPI_VDEC_GetFrame()`后调用`RK_MPI_MB_ReleaseBuffer()`，否则会导致内存泄漏[^4] > **注意**：完整实现需参考Rockit SDK中的`rkipc/src/video.c`示例代码[^2][^4]，重点关注`video_decode`线程的错误处理逻辑。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值