MNN初探

MNN介绍

MNN(Mobile Neural Network)是一个轻量级的深度神经网络推理引擎,在端侧加载深度神经网络模型进行推理预测。针对端侧设备特点深度定制和裁剪,无任何依赖,可以方便地部署到移动设备和各种嵌入式设备中。以上两句为MNN的官方描述,小弟对其优秀的端侧推理能力十分感兴趣。

开始

MNN git 地址:

https://github.com/alibaba/MNN.git

官方文档(语雀):

https://www.yuque.com/mnn

先查看git目录下的README.md 及 快速浏览了官方文档。认识了个大概,准备开gan;

  1. 打开我的MobaXterm连接上Linux服务器,进入此前编译tflite 2.3.1的docker容器,拉取最近的发布版本;
cd /home
git clone -b 1.1.0 https://github.com/alibaba/MNN.git
  1. 拉取完成后,准备编译,查看官方文档,编译环境要求;
  • cmake(建议使用3.10或以上版本)
  • protobuf(使用3.0或以上版本)
  • gcc(使用4.9或以上版本)
# 编译环境检查
cmake --version
protoc --version
gcc --version

所用机器检查结果:
编译环境检查

编译

  1. Linux 版本:
# 参考官方文档步骤
cd /path/to/MNN
./schema/generate.sh
./tools/script/get_model.sh
mkdir build && cd build && cmake .. && make -j8

编译完成后,可在build目录下看到libMNN.so,可用file命令查看相应信息:

file libMNN.so
  1. Android版本
    查看官方文档,需要安装NDK;
    找出珍藏的android-ndk-r19b-linux-x86_64.zip,传进docker容器,解压并配置NDK路径;
mkdir /home/build_tools
cd build_tools
cp ndk目录/android-ndk-r19b-linux-x86_64.zip ./
unzip android-ndk-r19b-linux-x86_64.zip ./
vim ~/.bashrc
export ANDROID_NDK=/Users/username/path/to/android-ndk-r19b
source ~/.bashrc
# 编译库
cd /path/to/MNN
./schema/generate.sh
cd project/android

# armv7动态库
mkdir build_32 && cd build_32 && ../build_32.sh

# armv8动态库
mkdir build_64 && cd build_64 && ../build_64.sh

Benchmark工具

编译完成后,想着跑跑模型看能否正常运行不?找到了Benchmark工具。

  1. Linux平台
# 在MNN根目录下
mkdir build
cd build
cmake .. -DMNN_BUILD_BENCHMARK=true && make -j4
# MNN/build目录
./benchmark.out ../benchmark/models 10 0

结果输出:
benchmark_linux

  1. Android平台
    参考文档,直接编译;
    在benchmark目录下直接执行脚本bench_android.sh,默认编译armv7(当前所用机器),加参数-64编译armv8;
# benchmark目录
vim bench_android.sh
# 这儿只跑CPU, 最开头那有关闭一些用不到的, 设为OFF;
./bench_android.sh

在benchmark/build目录生成需要的so库,及可执行文件(*.out);

由于服务器不能直接连设备,先将要用到的文件(*.so, *.out, models)拷出到本地电脑,再用adb的方式push到设备板子;

# 在此仔细查看 bench_android.sh 里头的脚本内容
# 将必要文件移动到/data/local/tmp/ 目录
su #需更高权限
cd /data/loacl/tmp/
chmod 0777 ./benchmark.out

# 注意:需配置宏LD_LIBRARY_PATH,不然链接不到so库 T_T
LD_LIBRARY_PATH=./ ./benchmark.out ./benchmark_models 10 0 4

结果输出:
benchmark_android
此路漫漫,砥砺前行~
文中不足之处,望能指出。

参考

cmake、protobuf安装:
https://blog.youkuaiyun.com/qq_19784349/article/details/93226763

03-21
### MNN框架概述 MNN(Mobile Neural Network)是一款阿里巴巴推出的轻量级深度学习端侧推理引擎[^2]。其设计目标是解决深度神经网络模型在移动端和其他资源受限设备上的高效运行问题。它不仅能够完成模型的优化和转换,还提供了强大的推理能力以及训练支持。 #### 核心特性 - **轻量性**:MNN文件大小通常仅为几兆字节,便于部署于移动设备和嵌入式硬件上[^3]。 - **通用性**:支持TensorFlow、Caffe、ONNX等多种主流模型格式,并兼容CNN、RNN、GAN等常见网络结构。 - **高效性**:通过高度优化的手写汇编代码实现核心运算,显著提升了执行效率。 - **易用性**:提供丰富的API接口,包括图像处理模块和支持回调机制的功能,允许开发者灵活定制逻辑流程。 --- ### 主要组件及其功能 以下是MNN的主要组成部分及各自的作用: 1. **MNN-Converter** - 这是一个用于将不同框架下的模型转化为MNN格式的工具[^1]。 它分为两部分: - Frontends:适配多种前端框架(如TensorFlow Lite、Caffe、PyTorch via ONNX),使得这些框架导出的模型可以直接被MNN加载并使用。 - Graph Optimize:通过对计算图进行算子融合、替换操作以及布局调整来进一步提高性能表现。 2. **MNN-Compress** - 提供了一套针对MNN模型的压缩方案,在保持一定精度损失的前提下减小存储空间占用率的同时加快预测速度。 3. **MNN-Express** - 支持带有复杂控制流(Control Flow)的动态图模型运行,并允许用户借助内置算子构建自定义层或节点。 4. **MNN-CV** - 类似OpenCV的一个计算机视觉库,不过它的底层依赖完全基于MNN重写而成,从而实现了更紧密集成的效果。 5. **MNN-Train** - 集成了完整的训练流水线,让使用者能够在任意平台上无缝切换至生产环境中实际使用的相同架构上去调试参数配置等问题。 --- ### 如何快速入门? 为了帮助初学者更快地上手该技术栈,官方给出了详细的教程说明如何搭建开发环境以及跑通首个实例程序——人体姿态估计Demo。具体步骤如下所示: 1. 下载源码包后解压放置合适位置; 2. 确保已安装好Protobuf v3.x及以上版本作为序列化协议的支持基础; 3. 执行命令进入工作目录`cd mnn && cd schema && ./generate.sh`生成描述文件; 4. 创建临时构建区`mkdir build && cd build`接着调用CMake工具指定选项开关开启样例工程编译模式`cmake -DMNN_BUILD_DEMO=ON ..`; 5. 启动多核并发制造过程加速产出最终产物`make -j8`. 上述完成后即可获得可供测试用途的应用二进制文件! --- ### 示例代码展示 下面给出一段简单的Python脚本演示怎样加载预训练好的MNN权重文件并对输入图片做前向传播得到分类结果: ```python from MNN import Interpreter, Session def inference_mnn_model(mnn_path, input_data): interpreter = Interpreter(mnn_path) # 初始化解释器对象读取模型元信息 session = interpreter.createSession() # 构造会话句柄分配GPU/CPU资源 input_tensor = interpreter.getSessionInput(session) # 获取默认输入张量指针 tmp_input = input_tensor.host() for i in range(len(input_data)): tmp_input[i] = float(input_data[i]) / 255.0 # 归一化像素值范围 interpreter.runSession(session) # 开始正式推断环节 output_tensor = interpreter.getSessionOutput(session) # 抓取出最后输出特征映射表单 result = list(output_tensor.host())[:len(output_tensor)] return result.index(max(result)) # 返回最大概率对应的类别索引号 if __name__ == "__main__": model_file = "./example.mnn" test_image = [value for row in [[col for col in line.strip().split()] for line in open("./test.txt").readlines()] for value in map(int,row)] # 假设这里是从文本记录还原原始RGB数组形式的数据集样本之一 predicted_label = inference_mnn_model(model_file,test_image) print(f"The image is classified as class {predicted_label}.") ``` 此片段假设存在一个名为`./example.mnn`的目标识别系统保存下来的静态图表示法档案还有配套的一幅待测验的小尺寸灰阶照片存放在纯ASCII编码字符串里边等待解析成整数列表传进去函数内部参与后续处理动作链路当中去。 ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值