raspberrypi 树莓派 armv7l 32位的系统安装onnxruntime

项目场景:

最近尝试将模型部署在树莓派里面,使用onnxruntime推理,这里记录一下在树莓派安装使用onnxruntime的过程,我的系统是32位,onnxruntime官方没有直接的编译文件,期间走了不少弯路,最终还是成功了,希望能帮到大家少走点弯路!


安装过程

  1. 查询树莓派系统架构:uname -a
    在这里插入图片描述

  2. 查询树莓派系统位数:getconf LONG_BIT
    在这里插入图片描述
    该系统是armv7l 32位的系统,ONNXRuntime官方只给了dock file交叉编译的文件,安装过程过于复杂(我很菜),只能尝试找编译好的轮子,还好有大神做过,放上链接:
    https://github.com/nknytk/built-onnxruntime-for-raspberrypi-linux

  3. 查看Debian版本编号:cat /etc/debian_version
    在这里插入图片描述
    根据下面这张表一一对应,可以知道Buster,这一点很重要,要根据对应的版本下载对应的onnxruntime轮子,不然会出现很多报错,我在这边折腾了好久,最后发现版本错了。
    在这里插入图片描述

  4. 根据1、2、3获取该系统的架构和版本之后,找到对应的wheel,我这里下载的是
    onnxruntime-1.6.0-cp36-cp36m-linux_armv7l,因为我的环境对应的python版本是3.6。
    在这里插入图片描述

  5. 直接用pip install命令安装即可!代码跑通了,成功安装!!!发现onnx模型的推理速度要比pytorch模型快一些。

在这里插入图片描述


希望能够帮助到大家,有帮助的大家记得点赞关注哦!

onnxruntime_gpu-1.6.0-cp36-cp36m-linux_aarch64.whl 是一个用于支持GPU加速的轻量级机器学习推理引擎软件包。它是ONNX Runtime的一个特定版本,适用于运行在基于Linux操作系统的ARM64架构的设备上。 ONNX Runtime是一个开放源代码的深度学习模型推理引擎,它支持在不同硬件和操作系统上运行训练好的神经网络模型。对于需要高性能和低延迟的应用,使用该软件包可以加速模型的推理过程。 该软件包中的cp36表示它是为Python 3.6版本编译的。在Linux操作系统上使用这个.whl文件可以确保软件包与系统架构和Python版本兼容。 aarch64表示它是为ARM64架构编译的,这是一种基于ARM处理器的64指令集架构。这意味着它适用于基于ARM的设备,如树莓派等。 使用ONNX Runtime的GPU版本可以在配备合适的GPU硬件的设备上实现更快的推理速度和更高的性能。这对于需要处理大型神经网络模型和大规模数据的任务非常有用,例如计算机视觉、自然语言处理和语音识别等领域。 为了使用这个软件包,您可以在合适的Python环境中安装它,并使用相应的命令来加载和运行您的深度学习模型。通过利用GPU的并行计算能力,您可以实现更快、更高效的模型推理过程,提高应用程序的性能。 总结来说,onnxruntime_gpu-1.6.0-cp36-cp36m-linux_aarch64.whl 是一个支持GPU加速的深度学习模型推理引擎软件包,适用于在基于Linux操作系统的ARM64架构的设备上运行。它提供了更快的推理速度和更高的性能,可以用于各种需要机器学习和神经网络推理的应用领域。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值