OpenVINO™全面支持在ARM处理器上执行AI推理计算

最新推荐文章于 2025-04-08 15:55:34 发布
最新推荐文章于 2025-04-08 15:55:34 发布
阅读量987 收藏 25
点赞数 16
文章标签： 人工智能 openvino arm开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_83179994/article/details/142654539
版权

OpenVINO™在2023.1版正式官宣：全面支持ARM架构！ 

参考：https://github.com/openvinotoolkit/openvino/releases

Yury Gorbachev(OpenVINO™ Architect)在Linkedin上也发文称“OpenVINO™作为一个跨平台的推理引擎.... 我们已经有一段时间支持ARM CPU，并且在社区的贡献和ARM CL团队的支持下，它一直在不断发展。代码生成的变化、优化的基本运算以及许多其他特性都将性能提升到了非常高的水平，并且改进仍在不断累积....”

由此看来，OpenVINO™不仅支持Intel®的CPU，还支持ARM架构和RISC-V架构的CPU。

一，各发行版对ARM架构的持续支持

最低0.47元/天 解锁文章
openvino
weixin_42206625的博客
10-06 180
Movidius2安装： 安装cmake sudo apt install cmake 撕开终端 cd ~/Downloads/ # openvino 安装路径 sudo mkdir ~/opt/intel/openvino # 适合系统：ubuntu 32 # sudo tar -xf l_openvino_toolkit_ie_p_2018.5.445.tgz --strip 1 -C ~/opt/intel/openvino # 适合系统：armv7l sudo tar -xf l
AI人工智能领域Llama的边缘计算应用
AI天才研究院
04-04 750
本文旨在全面分析Llama大型语言模型在边缘计算环境中的应用潜力、技术挑战和解决方案。我们将重点关注如何在资源受限的边缘设备上部署和优化Llama模型，使其能够在低功耗、低延迟的条件下完成有效的AI推理任务。Llama模型架构特点及其对边缘计算的适应性边缘计算环境下部署Llama模型的技术挑战模型优化技术（量化、剪枝、蒸馏等）实际部署案例和性能评估未来发展趋势和潜在应用场景。
OpenVINO部署
weixin_42010722的博客
06-26 3304
OpenVINO（Open Visual Inference and Neural Network Optimization）是由英特尔开发的工具包，旨在优化和加速在各种英特尔架构（如CPU、GPU和FPGA）上的深度学习推理，特别侧重于计算机视觉任务。该工具包支持来自流行框架（如TensorFlow和PyTorch）的模型，将它们转换为适合在英特尔硬件上部署的中间表示。
CPU 及其加速库简介
Man
08-05 445
CPU 及其加速库简介
OpenVINO是什么
NLstudy33的博客
04-08 953
这些案例展示了如何通过版本检查和模块导入逻辑来动态调整程序的行为。这种技术在实际开发中非常有用，尤其是在需要兼容不同环境和依赖库的场景中。
Openvino_ARM源码编译+nano_detect树莓派部署实测
u011268946的博客
09-13 1596
树莓派
完整教程，轻松上手！OpenVINO 能支持ARM架构了？！
英特尔开发人员专区
05-17 6525
1.扩展模块的介绍 OpenVINO诞生至今，其功能越来越强，模块也越来越多。为了保证发布版本的稳定性，Github上新增了openvino_contrib代码库用来开发扩展模块，功能稳定后再合并到OpenVINO库中。扩展模块中的每个模块都是解耦的，可以独立编译使用。主要包括三部分：arm_plugin、java_api、mo_pytorch。本文主要介绍 arm_plugin 模块的使用。arm_plugin使用 OpenVINO API 在 ARM CPU 上启用深度神经网络推理。该插件使用 ARM
rk3399 aarch64 arm64 使用英特尔神经计算棒openvino
smiletudy的博客
12-08 2318
我的环境是rk3399 arm64 Ubuntu18.04 由于官网只有x86 windows 树莓派（armv7）的相关文档，并没有涉及到arm64（armv8），折腾几天过程如下 首先下载openvino的源码 https://github.com/openvinotoolkit/openvino这里就有指导编译的，但是实际还是有些曲折 下载完进入目录，执行 install_build_dependencies.sh，这里我出错了，提示我libpng-dev无法安装，就是依赖问题，这个问题我...
树莓派4b arm64 配置openvino踩坑实录（2022 至今没有成功）
qq_51253844的博客
03-18 1881
配置时解决了一些问题，也有一些致命问题没有解决． 致命问题就是：1.大多数的教程都是armv7的 　　　　　　　2.官网支持树莓派armv7的openvino版本仅限于2020.4版本，且必须配合NCS2使用（淘宝售价大概６００左右）.这个问题可以通过官方发行的的openvino_contrib解决． 参考： Openvino_ARM源码编译+nano_detect树莓派部署实测_进击の攻城狮的博客-优快云博客_nanodet 树莓派完整教程，轻松上手！OpenVINO 能支持ARM架构了？！_英
边缘计算与AI推理优化：TensorFlow Lite、OpenVINO、NVIDIA Jetson与Raspberry Pi 的应用与比较
百态老人的博客
08-03 1344
边缘计算（Edge Computing）是一种分布式计算架构，它将计算、存储和数据处理任务从数据中心或云计算平台移动到数据产生的地点，即“边缘”设备上。边缘计算常用于需要实时数据处理的应用场景，比如智能城市、自动驾驶汽车、工业物联网（IIoT）和智能家居等领域。
【OpenVINO 2024.1】增强型生成式AI工作负载支持：大规模语言模型性能优化与广泛技术支持
最新发布
04-27
部署方面，OpenVINO提供了NPU插件预览、JavaScript API集成和ARM处理器上的FP16推理支持。新的OpenVINO笔记本展示了各种应用场景，包括文本生成、图像分类、对象检测等。通过与Optimum集成，OpenVINO实现了便捷的...
OpenVINO 2024.1 发布：增强大型语言模型性能与扩展生成式AI支持
03-30
部署方面，新增了 NPU 插件预览版，使 JavaScript API 更易访问，并启用了 ARM 处理器上的 FP16 推理。同时，OpenVINO 还集成了 Optimum 工具包，方便将 Hugging Face 模型转换为 OpenVINO 格式并进行量化。最后，...
AI OpenVINO
weixin_30686845的博客
06-11 170
部署挑战 1、把训练环境的深度学习网络部署到嵌入式平台做推理，会有些技术挑战要解决。 1）工业界有很多深度学习框架，如Caffe，TensorFlow，MXNet，Kaldi等等。 2）训练是在数据中心或服务器集群。而推理是在嵌入式平台（经过性能和耗电优化），这些平台在软件（编程语言，第三方依赖，内存消耗，支持的操作系统）和硬件（不同数据类型，电源有限）上都有很大限制，因此，不推荐甚至...
隆重介绍OpenVINO 2024.0: 为开发者提供更强性能和扩展支持
英特尔开发人员专区
03-08 2978
欢迎来到OpenVINO 2024.0，我们很高兴在这里推出一系列增强功能，旨在在快速发展的人工智能领域为开发者赋能！此版本通过动态量化、改进的GPU优化以及对混合专家架构的支持，增强了大语言模型（LLM）的性能。OpenVINO 2024.0使开发者能够有效利用人工智能加速，并对来自社区的持续贡献表示感谢。
隆重介绍 OpenVINO™ 2024.0: 为开发者提供更强性能和扩展支持
OpenVINOCC的博客
03-08 1271
点击蓝字关注我们,让开发变得更有趣作者| YuryGorbachev英特尔院士OpenVINO™ 产品架构师翻译|武卓英特尔 AI软件布道师排版 | 李擎Hello， OpenVINO™ 2024.0欢迎来到 OpenVINO™ 2024.0，我们很高兴在这里推出一系列增强功能，旨在在快速发展的人工智能领域为开发者赋能！此版本通过动态量化、改进优化 GPU 以及对混合专家架构的支持...
linux下安装OpenVINO
roymustang的博客
05-18 608
https://software.intel.com/content/www/cn/zh/develop/tools/openvino-toolkit.html 该网址下进行注册并下载 得到压缩文件 下载在Downloads下 cd ~/Downloads/ 解压 tar -xzvf l_openvino_toolkit_p_2021.3.394.tgz 进入文件夹中 cd l_openvino_toolkit_p_2021.3.394/ 利用ui安装 sudo ./install_GUI.s
rk3588下使用openvino2024.2
lrzss的博客
07-01 1186
/ 编译通过，可执行文件生成openvino_cpp_samples_build/aarch64/Release。
CPU也能跑模型：OpenVINO模型部署入门教程
DeepDriving
11-05 2145
OpenVINO）是英特尔推出的一个用于深度学习推理的开源工具套件，旨在帮助开发人员优化和部署深度学习模型，以在各种硬件平台上实现高性能的推理。OpenVINO跨平台支持OpenVINO支持多种硬件平台，包括英特尔的CPU、集成显卡、FPGA以及神经计算棒（），这使得开发人员能够在各种设备上进行高效的深度学习推理。模型优化OpenVINO提供了一系列工具和技术，可用于优化和转换深度学习模型，以便在目标硬件上实现更高的性能和效率，这包括模型压缩、量化、剪枝等技术。推理加速OpenVINO。
OpenVino 2023.0学习使用（1）-简介
qq_44632658的博客
06-18 1992
模型制备。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值