瑞芯微平台（RV1126）基于轻量级推理框架TengineInferpipe实现tengine后端的NPU部署应用

已于 2023-02-16 10:22:12 修改
阅读量1.1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： AIoT 文章标签： docker 容器 边缘计算
于 2022-05-16 14:48:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/space01/article/details/124799211

TengineInferpipe的简介参考​​​​​​TengineInferPipe在Jetson平台基于TensorRT后端Demo实现_space01的博客-优快云博客。瑞芯微平台（RV1126）建议使用docker环境交叉编译TengineInferPipe，首先需要安装docker，并启动docker服务。

1. 拷贝tengine动态库

通过交叉编译工具编译的tengine库拷贝到TengineInferPipe的目录下。tengine的交叉编译方法参考 RV1126编译tengine_陈 洪 伟的博客-优快云博客_tengine编译。

cd <inferpipe-root-dir>
mkdir tengine
cp -r <tengine-root-dir>/build/install/* ./tengine/
cp -r <t
了解本专栏 订阅专栏 解锁全文 超级会员免费看
RV1126编译tengine
C/C++、嵌入式开发、深度学习算法、模型部署与推理优化
02-16 4104
交叉编译tengine，使它能在瑞芯微的rv1126平台上运行。具体步骤如下。 1.依赖项 依赖项有三部分： 第一部分是 TIM-VX 的源码，代码仓库在下方； 第二部分是 芯片对应板卡的 galcore.ko 的版本，对于 linux 平台，最低版本是 6.4.3.p0.286725；对于 Android 平台，最低版本是 6.4.3.279124+1。 第三部分是 TIM-VX 的依赖库，主要是直接依赖的 libCLC.so libGAL.so libOpenVX.so libOpenVXU.s
RV1126 NPU 加速实战：YOLOv5 模型量化与部署避坑手册
远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享
08-03 1104
本文详细介绍了YOLOv5模型在RV1126芯片上的量化部署全流程。首先解析RV1126 NPU的硬件特性及YOLOv5的适配要求，重点说明需移除Focus层、替换SiLU激活等关键修改。其次详细讲解使用rknn-toolkit2进行模型量化的步骤，包括校准集准备、参数配置及精度优化方案。然后提供基于Tengine-Lite的部署代码示例，并给出NPU占用率低、推理段错误等常见问题的解决方案。最后通过智能摄像头案例，展示量化后模型体积缩减75%、实现30FPS实时检测的实际效果。文章强调量化参数调优和工具链
Tengine 边缘AI计算框架移植RV1126（包括opencv的交叉编译）
weixin_45993872的博客
10-14 1547
编译opencv是为了，在编译Tengine时指定OpenCVConfig.cmake,以便寻找特定的opencv动态库01.从github拉取opencv源代码02.在虚拟机安装cmake04.解压opencv源码，并进入文件05.新建文件ax620a.toolchain.cmake配置交叉编译工具链06.创建build文件夹并配置cmake07.编译并安装查看在build目录下是否存在OpenCVConfig.cmake文件。
[嵌入式系统-147]：瑞芯微RK3588的CPU如何与GPU和NPU通信
文火冰糖（王文兵）的博客
10-19 1003
CPU解码多路视频流并进行降噪，GPU生成3D地图，NPU运行YOLOv8模型检测目标，结果通过DMA回传GPU进行标注并输出至HDMI显示。CPU控制机械臂运动，GPU处理激光雷达点云数据，NPU运行ResNet模型识别工件缺陷，结果通过PCIe接口传输至FPGA执行控制指令。CPU解码的视频帧通过共享内存直接传递给GPU进行编码，或供NPU进行目标检测，避免数据在CPU与加速器之间的复制，降低延迟。这就是嵌入式AI的优势所在！这是X86 + PCIe不具备的优点！瑞芯微RK3588的CPU通过。
[RV1109/RV1126系列]-1.安装部署RKNN_ToolKit进行算法NPU移植
Ant
12-25 5510
系统依赖 操作系统版本 Ubuntu16.04（x64）及以上Windows 7（x64）及以上Mac OS X 10.13.5（x64）及以上Debian 9.8（aarch64）及以上 Python 版本 3.5/3.6/3.7 Python 库依赖 ‘numpy == 1.16.3’‘scipy == 1.3.0’‘Pillow == 5.3.0’‘h5py == 2.8.0’‘lmdb == 0.93’‘networkx == 1.11’‘flatbuffers == 1.1.
瑞芯微 rk3568的npu使用，部署unet网络
tony365的博客
12-19 6992
模型转换是 RKNN-Toolkit2 的核心功能之一，它允许用户将各种深度学习模型从不同的框架转换为 RKNN 格式以在 RKNPU 上运行，用户可以参考模型转换流程图以帮助理解如何进行模型转换。因此如下图，输入的 uint8的image data, 然后归一化到0-1，因为设置了 outputs[0].want_float=1,然后model infer 得到 float data,范围 0-1. 以上全在 npu中进行，也就是全在rknn_run中进行，因为使用的时零拷贝 api.
【Tengine端侧推理框架】——模型序列解析器
怡宝2号
06-28 514
code：https://github.com/OAID/Tengine version: 88b4b7a2 图片，代码都来自以上项目。 1. 简介 Tengine的模型表达（序列化+反序列化）都是自己定义的，优点是：不会有其他依赖，缺点是：刚开始接触会很头疼，你要通过代码去看详细的规则。 其次，Tengine有别于ncnn（是将参数和数据分开的param+bin），Tengine是将参数和数据都写入到二进制文件。所以在解析的时候需要定义相应的数据结构才能解析。 同时，有别于mnn，用protobuf.
C++基于C++的AI模型部署技术：多平台推理框架集成与低功耗优化方案设计
最新发布
12-01
内容概要：本文系统梳理了基于C++在边缘设备上部署AI模型的完整技术体系，涵盖基础语法强化、核心库应用、主流推理框架集成及多平台实战案例。重点讲解了嵌入式C++内存管理、多线程安全编程与跨平台编译技术，并结合...
Tengine Lite：为嵌入式AI部署提供轻量级推理引擎
资源摘要信息:"Tengine Lite是专为嵌入式设备设计...Tengine Lite的目标是提供一个轻量级、高性能的深度学习推理解决方案，使得开发者能够在嵌入式设备上快速部署和运行深度学习模型，进而推动AIoT应用的普及和发展。
npu 瑞芯微rk系列，rknn模型转换以及npu使用
m0_46417841的博客
02-17 3240
本文介绍了瑞芯微rk系列的npu使用以及模型转换
解锁RV1126 NPU加速核心：开发环境搭建全攻略
远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享
06-18 765
本文详细介绍了RV1126 NPU加速核心开发环境的搭建全流程。首先明确了硬件（开发板、电脑等）和软件（Ubuntu系统、工具软件等）的前期准备要求，重点讲解了Ubuntu系统配置中的软件源更换和依赖包安装。随后分步骤指导了rknpu开发环境搭建，包括rknn_toolkit的docker安装和NPU驱动更新。在连板推理设置环节，阐述了rknn_server的作用原理及配置方法。最后通过测试demo验证环境搭建效果，并提供了常见问题的解决方案。整个搭建过程系统全面，为后续基于RV1126的AI应用开发奠定了
瑞芯微RV1126开发笔记
m0_73510889的博客
05-06 2367
瑞芯微 RV1126 / RK3399 / RK3568、海思 Hi3519AV100 / Hi3559AV00、英伟达 TX1 / TX2等等VI模块的主要功能是从摄像头或其他图像传感器sensor中接收原始数据（通常是 YUV、RAW 等格式）。
【Tengine端侧推理框架】——创建graph
怡宝2号
06-29 618
code：https://github.com/OAID/Tengine version: 88b4b7a2 图片，代码都来自以上项目。 1. 简介 … 2. 正题 创建一个空的graph，ir_graph_t* ir_graph = create_ir_graph((struct context*)context); 找到模型序列化器struct serializer* loader = find_serializer_via_name(model_format);，然后调用load_model方.
瑞芯微 Rockchip 系列 RK3588 部署 yolo11 模型推理教程
Leon_Chenl的博客
02-07 5637
在上一篇文章中，我介绍了如何在瑞芯微 Rockchip 系列芯片将主流深度学习框架模型转换为 RKNN 模型。在这篇文章，我将介绍如何在瑞芯微 Rockchip 系列 RK3588 芯片上部署 yolo11 模型推理。本文章会使用到上一篇文章转换的 rknn 模型，因此如果还没看过上一篇文章的同学，建议优先阅读上一篇文章。本教程不仅适合 RK3588 平台，也适合其他 RK 系列平台，例如 RK3566、RK3568、RK3562 等。具体平台请参考RKNN-Toolkit2 文档。
[智能AI摄像头]rv1126搭建rknpu开发环境并添加opencv库、更新板端rknpu驱动
嵌入式人工智能相关
10-12 5006
rv1126搭建rknn_toolkit以及rknpu开发环境并更新板端rknpu驱动为1.7.3同时添加opencv库
【Tengine端侧推理框架】——注册机制（一）
怡宝2号
06-25 700
code：https://github.com/OAID/Tengine 图片，代码都来自以上项目。 1. 简介 Tengine 由 OPEN AI LAB 主导开发，该项目实现了深度学习神经网络模型在嵌入式设备上的快速、高效部署需求。为实现在众多 AIoT 应用中的跨平台部署，本项目使用 C 语言进行核心模块开发，针对嵌入式设备资源有限的特点进行了深度框架裁剪。同时采用了完全分离的前后端设计，有利于 CPU、GPU、NPU 等异构计算单元的快速移植和部署，降低评估、迁移成本。 2. Content .
Tengine-自主知识产权的边缘AI计算框架： 广受国内AI开发者欢迎的轻量化嵌入式推理框架 | 百万人学AI评选活动
weixin_37986590的博客
05-19 1337
2020 无疑是特殊的一年，而 AI 在开年的这场”战疫“中表现出了惊人的力量。站在“新十年”的起点上，优快云【百万人学AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级，设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信，榜样的力量将成为促进AI行业不断发展的重要基石，而优快云将与这些榜样一起，助力AI时代的”新基建“。 活动官网：https://bss.youkuaiyun.com/m/topic/ai_selection/in...
Tengine推理框架之初见
电子芯吧客的博客
08-28 2085
[导读] 前段时间从电子芯吧客白嫖了一块开发板EAIDK310，该平台的一个主要应用就是Tengine是OPEN AI LAB针对于嵌入式终端平台以及终端AI应用场景特点，采用模块化设计为终端人工智能量身打造的高效、简洁、高性能的前端推理计算框架。对于人工智能，本人还是小白，本文仅记录个人学习Tengine的笔记，文章中一定有大量错误，分享笔记也是希望能起到交流求证的作用，让自己能逐步深入了解人工智能的技术知识。 Tengine的特点 AI之于嵌入式应用而言，个人理解存在下面一些痛点： 应用问题场景多
ubuntu常用软件
嵌入式开发，欢迎交流
10-30 406
sudo apt-get install git-core gitk git-gui gcc-arm-linux-gnueabihf u-boot-tools device-tree-compiler \ gcc-aarch64-linux-gnu mtools parted libudev-dev libusb-1.0-0-dev python-linaro-image-tools linaro...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

space01

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值