weixin_43999691的博客

ncnn 是一个高性能的神经网络前向计算框架，专门针对移动设备和嵌入式设备设计。它由腾讯优图实验室开发，旨在提供高效的神经网络推理能力，特别是在资源受限的环境中，如智能手机和嵌入式系统。ncnn 被广泛应用于移动端和嵌入式设备上的各种深度学习应用，包括但不限于：图像分类/目标检测/语义分割/人脸识别/图像生成与处理。

NVIDIA TensorRT进行模型推理的Python实现。TensorRT是一个高性能的深度学习推理优化器和运行时，它能够为深度学习模型提供低延迟和高吞吐量的推理能力。(由于官方文档的使用还是比较简单，也可能自己很菜，参考了别人的文档和自己摸索，写出来这个可以使用的API)

之前的博客已经在RK3588上安装了tvm的mali-gpu的版本，我们整理一下思路，本文将从模型的转换和调用两个方面进行讲解，tvm使用的是0.10版本，模型和代码也都是tvm官方的案例。

Mali-G610 是 Arm 公司开发的第三代 Valhall 架构的 GPU。它于 2022 年 7 月发布，面向中端和高端移动设备。Mali-G610 采用 Armv9 架构，具有 10 个核心，每个核心都有 128 个 FP32 ALU。它还支持 FP16、INT8 和 INT4 计算，以及硬件加速的 AI 功能。Mali-G610 的性能比前代 Mali-G57 提高了 20%。它能够在 1080p 分辨率下以 60fps 的帧率运行复杂的游戏和应用程序。核心数：10 个。

TVM是一个开源的机器学习编译器栈，用于优化和编译深度学习模型，以在各种硬件平台上实现高效性能。TVM可以在ARM开发板上进行部署和优化。

【代码】Mxnet框架使用。

MXNet（也称为Apache MXNet或incubator-mxnet）是一个开源的深度学习框架，它最初由华为和亚马逊AWS共同开发，并于2017年成为Apache软件基金会的孵化项目。它的跨平台支持、多语言接口和分布式训练功能使其成为一个受欢迎的工具，用于构建和部署深度学习模型。：作为一个Apache孵化项目，MXNet拥有活跃的开发社区，提供了文档、教程和许多示例来帮助用户入门和解决问题。：MXNet支持将训练好的模型部署到不同的生产环境中，包括云端服务器、移动设备和嵌入式系统。

看到rknn_toolkit_lite2更新了python3.11的安装包，马上更新一下。

之前一直在忙着写文档，之前一直做分类，检测和分割，现在看到跟踪算法，花了几天时间找代码调试，看了看，展示效果比单纯的检测要更加的炸裂一点。

对于嵌入式设备，将模型转成onnx后，可以方便的将pytorch或者tensorflow的模型在嵌入式设备上运行，但是onnx模型默认只调用一个CPU核心去做推理，所以有些嵌入式设备有多核的CPU，推理推理可以适当的加速。

ONNX模型截断和推理

国产推理框架-paddlepaddle/paddle-lite使用

国产推理框架-MNN使用