嵌入式Linux平台部署AI神经网络模型Inference的方案

最新推荐文章于 2025-03-02 11:44:12 发布
最新推荐文章于 2025-03-02 11:44:12 发布
阅读量3.2k 收藏 17
点赞数 6
分类专栏： # AI学习指导：从入门到进阶 【硬件加速+模型压缩+边缘计算】研究 《自动驾驶中的深度学习模型量化、部署、加速实战》（源代码） 文章标签： 嵌入式 神经网络 机器学习 Inference 智能物联网 AIOT IoT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Charmve/article/details/107170077
版权
本文介绍了多种用于嵌入式Linux平台的AI神经网络Inference引擎，包括ONNX、TensorRT、MNN、ncnn、TVM、TensorFlow Lite、ArmNN、Tengine、Tengine-lite、Mace、Paddle-Mobile和OpenCV dnn。这些引擎支持ARM CPU和GPU的算力资源调度，部分还支持RTOS系统。TensorRT适合NVIDIA平台，MNN在性能上有优势，ncnn专注Android，TVM采用编译方法部署，而OpenCV dnn依赖于opencv，适用于传统视觉与AI神经网络结合的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ONNX

  • 简述
    ONNX是一种AI神经网络模型的通用中间文件保存方法(可以理解成AI世界的XML)，各种AI框架，Inference引擎，甚至OpenCV里面的dnn onnx相关的模块都可以解析ONNX文件并生成特定平台和运行框架所支持的神经网络模型。ONNX本身不是AI神经网络运行框架，只是AI神经网络模型通用中间描述文件格式

  • GitHub链接
    https://github.com/onnx/onnx

  • 编程语言
    C++ / Python

  • 热度
    ★★★★★☆

TensorRT

  • 简述
    TensorRT是NVIDIA家的开源AI神经网络Inference引擎，支持解析和转换ONNX格式的神经网络模型部署到支持CUDA的GPU上运行。目前TensorRT仅支持在NVIDIA家的产品部署AI神经网络模型，支持的平台有NVIDIA各种支持CUDA 9.0以上的显卡，嵌入式SOC平台(Jetson TX1/TX2/Nano/Xavier 等)

  • GitHub链接

了解本专栏 订阅专栏 解锁全文
AI 大模型部署到嵌入式原理与代码实战案例讲解
AI天才研究院
06-01 2714
随着人工智能技术的快速发展，将AI模型部署到嵌入式设备上已成为一个热门的研究领域。这种部署方式不仅能够实现设备的智能化，还能够减少对云端服务的依赖，提高数据隐私性和系统响应速度。然而，由于嵌入式设备通常具有有限的计算资源、存储空间和能源供应，将复杂的AI模型部署到这些设备上面临着诸多挑战。本文将深入探讨AI模型部署到嵌入式系统的原理，并通过实际的代码案例来展示这一过程。权重剪枝：基于权重的重要性评估，移除不重要的连接或神经元。知识蒸馏：利用大模型（教师模型）的输出来训练小模型（学生模型）。
【深度】工程师必备—AI模型训练+推理优化+嵌入部署
热门推荐
cv君的博客
09-04 4万+
文章目录一 项目展示二 依赖环境与导读2.1依赖环境2.2 本文导读三 模型训练3.1 新手也能做对的教学3.2 高手也爱的黑科技：无损的半精度模型四 模型优化4.1 Openvino 介绍 可以参见这篇博客4.2 Openvino安装4.3 Openvino 模型转换与推理五 模型部署5.1 模型转换 部署自己训练好的算法模型，经过openvino推理后应用于2085模组六 模组使用6.1运行cnn目标检测demo6.2 部署自己训练好的算法模型，经过openvino推理后应用于2085模组七 实际对比八
嵌入式Linux入门级板卡的神经网络框架ncnn移植与测试-米尔i.MX6UL开发板
Jason_zhao_MR的博客
02-18 1376
经过观察板上的文件系统，发现有3.1G的空间没有使用，此时可以使用fdisk 来格式化该空间，格式化成 ext4 格式，重启板子后，就可以看到这部分空间了，然后把ncnn的所有测试执行文件和资源文件传到该目录下，这样就够用了。需要注意的是，除了ncnn的应用执行文件，在这些例子执行的时候，还需要模型和测试的资源文件，而这些文件体积都比较大，因此不能传送到开发板的系统目录上，需要单独存在扩展的存储空间上。以腾讯内部应用为例，ncnn目前已在QQ，Qzone，微信，天天P图等上得到应用。
嵌入式平台部署AI模型-ChatGPT4o作答
最新发布
qq_46215223的博客
03-02 1099
边缘计算作为一种新兴的计算架构，通过将计算资源推向网络边缘，提供了低延迟、高效和带宽节省的优势，尤其在物联网、智能设备和实时数据处理场景中展现了巨大的潜力。然而，边缘计算也面临着设备资源限制、管理复杂性和安全隐私等挑战。随着技术的进步和边缘设备能力的提升，边缘计算将在未来的许多领域发挥重要作用。在嵌入式平台上部署 AI 模型涉及一系列的步骤与挑战，主要包括模型的选择、优化、转换以及在嵌入式设备上的部署和执行。嵌入式平台的计算资源通常有限，因此需要在部署过程中进行一定的优化。
Jina AI全新Inference服务，LangChain开发体验从未如此丝滑
Jina AI 的博客
05-18 1132
由于 Token 的限制，在开发 LangChain 问答机器人应用时，我们经常需要将文档切割，接着使用分别将分割后的 Document 变成 Embeddings，即向量表示。同时输入的问题，也需要用到变成向量，再根据向量相似度找到最相近的 Embedding，将它们拼接成答案返回。由此可见，一个合适又好用的 Embedding 引擎在 LangChain 应用开发过程中的重要性。Inference 就是由 Jina AI 推出的，旨在为企业和开发者提供。
paddle lite 嵌入式linux_【嵌入式AI入门日记】将 AI 模型移植到 RTThread 上
weixin_39605296的博客
11-24 395
本期我们分享的主题是如何将 AI 模型部署到嵌入式系统中。 嵌入式关联 AIAI落地一直是一个很红火的前景和朝阳行业。我的好奇心也比较旺盛，所以关于任何嵌入式和 AI 相关的都是想尝一尝。本系列文章将带你一步一步把 AI 模型部署在嵌入式平台，移植到 RT-Thread 操作系统上，实现你从菜鸟到起飞的第一步甚至第 n 步！开发环境：后续开发过程将基于 STM32H743ZI-Nucl...
单例模式5种实现方式
lcjjy666的博客
11-04 1105
一个类始终保证只有一个对象，这种模式称为单例模式。 优点：不需要反复创建与回收对象，节约内存空间，调用执行效率高 缺点：并发操作会造成线程不安全 懒汉模式： public class SingleOne { private static SingleOne single; private SingleOne() {} public static synchronized SingleOne getInstance() { if(single == null) { single = new SingleOne
FPGA and AI inference
u010451780的专栏
12-31 503
众所周知，实施一个完整的 AI 应用需要经历训练和推理两个过程。所谓“训练”，就是我们要将大量的数据代入到神经网络模型中运算并反复迭代，“教会”算法模型如何正确的工作，训练出一个 DL 模型。而接下来，我们就可以利用训练出来的模型来在线响应用户的需求，根据输入的新数据做出正确而及时的决策判断，这个过程就是“推理”。 通常来讲，一个 AI 应用中“训练”只需要做一次——有时这个工作会交给第三方专业的且有充沛算力资源的团队去做，而应用开发工程师要做的则是将训练好的模型部署到特定的硬件平台上，满..
【AI模型】AI模型部署概述
DevFrank的博客
05-03 4137
AI模型部署学习
AI集成产品中海量数据处理的嵌入式解决方案(二)
weixin_39852636的博客
11-24 594
接讲上文 这讲举例介绍一下如何使用用于分析GAP程序的完整系统模拟器 首先进入gap_sdk下的目录 cd ~/gap_sdk/examples/pmsis/features/cluster/cluster_fork 完成以后make all run platform=gvsoc runner_args="--vcd" 运行以后可以看到这个： 复制下来粘贴到运行，就会弹出来这个窗口： 这样我们就可以看到chip里面发生了什么，这里的option选项runner_args='--vcd'就是告诉gvsoc
AI算法模型线上部署方法总结
SeafyLiang的博客
11-08 1万+
AI算法模型线上部署方法总结一、机器学习算法线上部署方法1.1 三种场景1.2 如何转换PMML，并封装PMML1.3 接下来说一下各个算法工具的工程实践1.3.1 python模型上线：我们目前使用了模型转换成PMML上线方法。1.3.2 R模型上线-这块我们用的多，可以用R model转换PMML的方式来实现。1.3.3 Spark模型上线-好处是脱离了环境，速度快。1.4 只用Linux的Shell来调度模型的实现方法—简单粗暴1.5 说完了部署上线，说一下模型数据流转的注意事项二、机器学习算法的部署
AI模型部署到嵌入式原理与代码实战案例讲解
AI天才研究院
08-12 931
1. 背景介绍 1.1 人工智能技术的发展与嵌入式系统的融合 近年来，人工智能（AI）技术取得了显著的进展，在图像识别、语音识别、自然语言处理等领域取得了突破性成果。随着AI技术的不断成熟，将AI模型部署到嵌入式系统中，实现边缘智能化应用成为了新的趋势。嵌入式系统具有体积小、功耗
AI 推理与服务（AI Inference and Serving）
蜗牛沐雨
02-20 961
AI 推理和服务是现代分布式系统中的重要组成部分。通过合理应用 AI 推理和服务的最佳实践，可以显著提高系统的智能性和用户体验。本章介绍了 AI 推理和服务的核心概念、最佳实践以及在分布式系统中的应用，希望这些内容能帮助您构建更智能、更高效的分布式系统。
嵌入式AI-K210篇-硬件-模型训练、部署
qq_42754856的博客
07-06 4136
K210的其他参数如下： 双核 64-bit RISC-V RV64IMAFDC (RV64GC) CPU / 400MHz（可超频到600MHz） 双精度 FPU 8MiB 64bit 片上 SRAM（6MiB通用SRAM+2MiB的AI专用SRAM） 神经网络处理器（KPU） / 0.8TFLOPS 音频处理器（APU） 可编程 IO 阵列 (FPIOA) 双硬件512点16位复数FFT SPI, I2C, UART, I2S, RTC, PWM, 定时器支持 AES, SHA256 加速器 直接内.
AI嵌入式设备适配难？看看这篇文章也许你能有新思路
百度智能云
09-18 1755
从科研、金融、零售到工业、农业等越来越多的行业与业务场景正在应用人工智能提升效率，降低成本。人工智能在产业升级、改善人类生活等方面发挥着越来越重要的作用。当在实际业务场景中部署AI模型时...
[ZCU102嵌入式开发]基于Vitis-AI的yolov5目标检测模型在ZCU102开发板上的部署过程分享
qq_36745999的博客
09-22 1万+
基于Vitis-AI的yolov5目标检测模型量化移植，在ZCU102开发板的嵌入式系统上实现了yolov5的移植，能够使用DPU达到30fps的特征提取速率。本博客记录了整个移植思路，过程，并用相关代码进行解释说明，希望能够抛转引玉，寻找正在做类似工作的小伙伴交流学习。
嵌入式与AI（机器学习）
weixin_60208139的博客
04-03 1436
总结归纳于嵌入式机器学习书籍《TinyML Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers》，结合本人思考以及对某些代码进行更深入地解释，使得不论是小白还是大牛都能感受到嵌入式与AI结合的魅力
linux怎么训练神经网络,神经网络算法_Linux编程_Linux公社-Linux系统门户网站
weixin_30713183的博客
05-07 556
我们在设计机器学习系统时，特别希望能够建立类似人脑的一种机制。神经网络就是其中一种。但是考虑到实际情况，一般的神经网络(BP网络)不需要设计的那么复杂，不需要包含反馈和递归。人工智能的一大重要应用，是分类问题。本文通过分类的例子，来介绍神经网络。1.最简单的线性分类一个最简单的分类，是在平面上画一条直线，左边为类0，右边为类1，直线表示为z=ax+by+c这是一个分类器，输入(x,y)，那么，要求...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Charmve

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值