Adlik 支持基于云燧i20的 AI推理服务部署,共建AI生态链

Adlik:Adlik:加速深度学习推理的工具包 阿德利克 Adlik [ædlik]是深度学习模型的端到端优化框架。 Adlik的目标是在云和嵌入式环境上加速深度学习推理过程。 借助Adlik框架,可以以非常灵活和轻松的方式将不同的深度学习模型部署到具有高性能的不同平台。 在云环境中,应将已编译的模型和Adlik Inference Engine构建为docker映像,并部署为容器。 在边缘环境中,应将Adlik Inference Engine部署为容器。 应将编译后的模型转移到边缘环境,并且Adlik Inference Engine应该自动更新和加载模型。 在设备环境中,Adlik Inference Engine和编译后的模型应编译成二进制文件( so或lib )。 想要在设备上运行模型推断的用户应将用户定义的AI函数和Adlik二进制文件链接到执行文件,然后直接运行。 我们使用简单的CNN模型(MNIST模型),ResNet50模型和具有不同服务引擎的InceptionV3,在同一CPU或GPU上测试Adlik的推理性能。 Adlik在不同模型上的测试性能数据如下: 内容 模型优化器专注于特定的硬件并在其上运行以 立即下载

近日,中兴通讯开源的Adlik深度学习推理工具链新增对人工智能推理加速卡云燧i20的支持,可实现基于云燧i20的高效AI模型部署,提供高性能的云端推理服务。

Adlik是由中兴通讯在Linux基金会人工智能&数据基金会(LF AI & Data)发起的开源项目,旨在提升深度学习、机器学习等模型在各种硬件平台下的推理效率,助力人工智能在云、边、端等多种场景快速落地。

对异构硬件的推理支持是Adlik的核心亮点之一。目前人工智能推理芯片处于百花齐放的状态,不同芯片之间的架构差异导致推理引擎也层出不穷。利用Adlik,可快速实现各种主流深度学习框架所训练出的模型在多种不同硬件环境中的高效统一部署,引入云燧i20使得 Adlik的适用场景得以进一步拓展。

云燧i20是由燧原科技打造的面向数据中心的第二代人工智能推理加速卡,具有高性能高能效、模型覆盖面广、易部署易运维等特点,结合燧原科技推出的鉴算TopsInference推理引擎,能够为深度学习应用提供低延迟、高吞吐率的推理性能。

Adlik能够充分发挥云燧i20性能优势,同时提升在云燧i20上部署AI模型的易用性。首先Adlik编译器会将深度学习模型转化为云燧i20可支持并优化的模型表示,然后由Adlik推理引擎为其自动匹配加载插件式的推理运行,以实现模型的版本管理、运行调度,为人工智能应用提供满足性能要求的推理服务。此外,由Adlik提供统一的推理接口,模型也可以从其它硬件快速、无缝迁移到云燧i20。

近年来我国的AI新基建蓬勃发展,AI开源框架、加速芯片、开放平台等呈现百花齐放的态势,为国内的数字化转型提供了有力支撑。Adlik作为深度学习模型推理领域的端到端工具链,也加快了构建国内技术生态的脚步,本次和云燧i20的合作是Adlik打造我国AI生态链的又一次尝试。

中兴通讯Adlik开源项目首席架构师刘涛表示:“中兴通讯开源Adlik社区,期望可以引领建设融合的AI生态圈,使用统一的工具链打通不同框架和硬件相互割裂的生态现状,从而真正实现高效率、低成本的AI应用落地。这次Adlik与燧原科技的云燧i20成功合作,就是基于生态建设思想的一次有力实践,后续期待双方在深度学习模型训练、优化、编译、部署等关键技术上展开合作,助力不同行业智慧化转型,有力推动数字经济发展”。

燧原科技软件生态负责人李彬表示“构建开放和软硬协同的生态环境,是推动人工智能产业快速发展的战略路径。燧原科技的云燧i20与中兴通讯Adlik的合作,是AI芯片与工具链软件生态在推理业务领域的深度融合,可以充分发挥人工智能基础设施的整体效能,加快人工智能应用场景的落地,打造数字化经济。”

如何快速获取SAMM、SMIC等主流微表情数据集?完整申请指南(附避坑技巧) 本文提供了获取SAMM、SMIC等主流微表情数据集的完整申请指南,包括申请前的准备工作、分步申请流程、协议谈判技巧以及数据使用与维护策略。特别针对高分辨率动态捕捉和多模态同步数据等热词,帮助研究者高效获取高质量数据集,避免常见陷阱。 阅读详情

相关推荐

医学成像学习笔记(一):核磁共振成像(MRI)k空间为何是图像频谱详解

前言   k空间是核磁共振成像图像重建的核心,可能很多人像笔者一样第一次学时会非常疑惑,为何k空间是图像的频域空间,观其填充过程,明明是空域信号的采样填充呀。网上很少有文章讨论这个问题,所以笔者在此写下自己的理解,供大家参考。 MRI位置编码   现在的MRI一次扫描的是一个断层或者多个断层,所谓断层就是一个有厚度的面,通过z方向梯度场来选择。我们扫描一个断层的目的是为了获得该断层各位置的质子情况,它们携带着组织的性质信息,反应出来的就是信号强度。如果整个断层都采用相同的磁场强度,而我们只能得到一个断

意疏的学习笔记 1万+

​Adlik 云原生介绍

Pivotal作为云原生(Cloud Native)应用架构中先驱者和探路者,于2015年提出了云原生应用。

csdndevpress0035的博客 357

Windows Server 2012 R2虚拟机安装全攻略:从镜像选择到网络配置一步到位

本文提供Windows Server 2012 R2虚拟机安装全攻略,涵盖从镜像选择到网络配置的完整流程。详细讲解在Oracle VM VirtualBox中的安装步骤、TCP/IP网络设置、系统优化及常见问题解决方案,帮助用户快速搭建可立即投入使用的服务器环境。特别适合IT初学者和系统管理员学习传统服务器应用的部署与配置。

weixin_28363123的博客 538

Adlik在深度学习异构计算上的实践

Adlik首先在架构上支持多类异构硬件和计算引擎,也在FPGA异构计算上完成了一些技术实践,后续将继续进行特定硬件上的计算优化技术的研究,来加速推动AI模型的工程应用。...

csdndevpress0035的博客 359

从动态规划到最优控制:Hamilton-Jacobi-Bellman (HJB) 方程的核心思想与应用

本文深入解析了Hamilton-Jacobi-Bellman (HJB) 方程的核心思想与应用,从动态规划到最优控制的演变过程。通过实际案例展示了HJB方程在机器人路径规划、工业机械臂优化等领域的实践价值,并探讨了数值求解方法和深度学习结合的神经HJB前沿进展。

weixin_28700411的博客 453

eNSP安装教程

eNSP安装教程一、安装eNSP1、先安装依赖组件2、安装eNSP主程序eNSP+V100R003C00SPC100+Setup ---不要安装在中文路径下3、安装完成后注册设备 一、安装eNSP 程序包位置:https://drive.weixin.qq.com/s?k=AOgAQQfOAAsw1wAKEgAAcAbgbSAKQ 1、先安装依赖组件 依赖组件: WinPcap_4_1_3 —直接下一步,但不要安装在中文路径下 Wireshark_v3.4.6 或者wireshark-win3

qimowei的博客 8668

Adlik深度学习模型编译器介绍

★将深度学习模型部署到生产环境实现应用是深度学习算法落地的重要一步。部署阶段的场景和目标设备多种多样,目前针对不同设备有不同的推理框架,如Tensorflow Serving、Tensor...

LF_AI的博客 1058

Vivado+VCS+Verdi三件套实战:如何高效仿真AXI VIP并快速查看波形

本文详细介绍了如何利用Vivado+VCS+Verdi工具链高效仿真AXI VIP并快速查看波形。通过环境配置、Vivado工程准备、VCS编译与仿真优化以及Verdi波形分析技巧,实现仿真速度的数量级提升,显著提高FPGA开发效率。

red88的博客 1000

Adlik新版本发布,增加一种芯片支持

12月20日,深度学习推理工具链Adlik Release 1.0 已经发布啦!除了常规的升级外,本次版本最大的亮点是增加了对于燧原科技人工智能推理加速卡云燧i20的支持, 使得Adlik云端推理方案有了更多的选择。欢迎各位小伙伴速来体验、拍砖。Compiler:支持ONNX模型到燧原芯片模型格式的编译路径支持OpenVINO升级到2022.3.0版本支持TensorFlow升级到2.10.1版本...

LF_AI的博客 381

NOAA气象数据下载攻略

各方搜寻气象数据下载途径,发现网上最多的就是从NOAA下载,但是中途有尝试过很多次都没有下载到,每次都是显示不可用,今天终于下载成功了,特此记录。 首先我是从这个网址进入的:National Centers for Environmental Information (NCEI) formerly known as National Climatic Data Center (NCDC) | NCEI offers access to the most significant archives of oc

lianqian66的博客 3万+

在 IW31 录入班次与当班负责人,并让 IW38 列表同步显示:基于 IWO10018 + IWOC0004 的一套可落地增强方案

摘要 本文详细介绍了在SAP PM模块中实现工厂设备维护订单增强的完整方案,重点解决两个核心需求:在订单创建时新增班次负责人和班次字段,并在订单列表中直接显示这些信息。文章从需求分析、技术设计到具体实现步骤进行了系统阐述。 关键实现步骤包括: 通过CI_AUFK结构扩展AUFK表,确保字段持久化存储 使用IWO10018增强在IW31/IW32/IW33事务中添加输入界面 通过IWOC0004增强在IW38订单列表中显示新增字段 采用优化的数据填充策略提升性能 该方案不仅满足业务需求,还考虑了用户体验和系统

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 175

介绍adlik代码项目

其价值在于整合了分散的优化技术(量化、剪枝、多引擎支持),为开发者提供“一站式”解决方案。它旨在为工业界和开发者提供高效、灵活的深度学习推理工具链,支持从模型优化到部署的全流程。- 运行时优化:针对不同硬件(CPU/GPU/TPU)自动选择最优后端(如 TensorRT、OpenVINO)。- 集成多种推理引擎(TensorRT、TFLite、ONNX Runtime),动态选择最优后端。- 统一接口:通过适配层支持 TensorFlow、PyTorch、ONNX 等框架的模型部署。

mrzyun0811的博客 373

openlayers:实现在连续更改时间维度时如何平滑地重新加载层 (附完整源码)

openlayers:实现在连续更改时间维度时如何平滑地重新加载层 (附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 347

如何从零开始构建恐怖游戏体验:Amnesia: A Machine for Pigs开发指南

Amnesia: A Machine for Pigs是一款经典的恐怖游戏,本文将为你提供从零开始构建该游戏恐怖体验的完整指南,帮助开发者掌握恐怖游戏开发的核心技巧与方法。 ## 一、项目概述与环境搭建 🚀 Amnesia: A Machine for Pigs基于HPL2引擎开发,该引擎为恐怖游戏提供了强大的技术支持。首先,你需要克隆项目仓库: ```bash git clone htt

gitblog_00143的博客 560

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

致力人工智能应用落地 推动数字经济技术创新——Adlik荣获两个开源奖项

近日,Adlik深度学习推理工具链项目荣获中国开源云联盟颁发的“优秀开源项目”和优快云颁发的“年度开源影响力项目”两项开源大奖。在“十四五”产业发展新机遇与国际发展新形势下,开源已成为推动数字经济核心技术创新、产业全球化应用、生态多元共治的关键手段和资源配置模式,是建设“新技术基础设施”和发展新兴战略产业的强劲引擎。在此背景下,中国云开源联盟组织了2022年度开源评选。中国云开源联盟由工信部指导...

LF_AI的博客 320

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Adlik如何实现与燧原芯片的对接?

引言Adlik 1.0 版本,加入了与燧原科技合作的成果,增加了对燧原 i20 芯片的支持,该芯片是燧原科技发布的基于邃思 2.5 芯片打造的面向数据中心的第二代人工智能推理加速卡,具有高性能高能效、模型覆盖面广、易部署易运维等特点,可广泛应用于计算机视觉、语音识别与合成、自然语言处理、搜索与推荐等推理场景。该芯片使用推理引擎TopsInference为深度学习应用提供低延迟、高吞吐率的推理部署。...

LF_AI的博客 544

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

1024分论坛:人工智能创新应用的优化实践和多产业落地

人工智能新应用论坛总结

优快云资讯 1万+

Portkey移动端:iOS/Android SDK开发全攻略

在移动应用开发中,集成AI能力往往面临诸多挑战:API密钥管理困难、网络请求不稳定、多模型切换复杂、成本控制难以把握。Portkey AI Gateway为移动开发者提供了完美的解决方案,通过统一的SDK接口,让iOS和Android应用能够轻松接入250+语言模型。 读完本文,你将掌握: - Portkey移动端SDK的核心架构与设计理念 - iOS/Android平台集成的最佳实践方案 - ...

gitblog_00872的博客 1097

Adlik多平台部署指南:从CPU到GPU的完整迁移方案

Adlik是一个专业的深度学习推理加速框架,专门为多平台部署而设计。这个强大的工具包让开发者能够轻松实现从CPU到GPU的无缝迁移,显著提升深度学习模型的推理性能。无论您是在云端、边缘设备还是嵌入式环境中部署AI模型,Adlik都提供了完整的解决方案。 ## 🚀 Adlik架构概览:一站式深度学习推理平台 Adlik采用模块化设计,包含三个核心组件:模型优化器、模型编译器和推理服务引擎。这种

gitblog_00574的博客 519

Adlik vs 传统推理框架:为什么它是AI部署的终极选择?

在人工智能应用快速发展的今天,深度学习模型的部署效率直接影响着AI产品的用户体验和商业价值。Adlik作为一款专注于加速深度学习推理的完整工具包,正在改变传统AI部署的游戏规则。本文将深入探讨Adlik与传统推理框架的关键差异,揭示为什么Adlik成为AI部署的最佳选择。🚀 ## 📊 Adlik与传统推理框架的核心差异 ### 端到端优化架构 传统推理框架往往只关注模型执行的某个环节,而

gitblog_00025的博客 495

Adlik YOLOv5 使用与安装指南

Adlik YOLOv5 使用与安装指南 项目概述 Adlik YOLOv5 是基于 Ultralytics 的 YOLOv5 模型的一个分支,专注于知识蒸馏过程,并优化于在配备 Intel CPU 的平台上通过 OpenVINO 进行推理。此项目利用 OpenVINO 工具套件提升从边缘到云端的深度学习性能,支持使用 TensorFlow、PyTorch 等流行框架训练的模型。 目录结构及介绍 ...

gitblog_00024的博客 396

【AI】推理系统和推理引擎的整体架构

本文主要是对B站Up主 ZOMI酱 相关视频的理解,可以认为是重点笔记。本文介绍了深度学习模型的全生命周期和推理系统、推理引擎的架构,并列出架构设计上的难点和挑战。

weixin_45651194的博客 7932

Adlik Eagle版本发布,更快、更优、更简单

感谢大家一直以来对Adlik的关注。6月21号,Adlik Eagle版本(V0.5.0)发布啦。总的来说,Eagle版本有三个关键词:技术创新、社区合作、用户易用性。这里列出一些highlight:优化器使用蒸馏和量化技术对YOLOv5模型进行了针对性的优化,使其性能提升近2.5倍;编译器增加了oneflow到onnx的编译支持;Adlik对BERT系列模型进行优化,在...

LF_AI的博客 217

Adlik获OSCAR 2021尖峰开源项目及开源社区奖

近日,由中国信息通信研究院、中国通信标准化协会主办的2021 OSCAR开源产业大会在北京成功举办。在大会上,Adlik开源项目荣获“2021尖峰开源项目及开源社区奖”。Adlik获OSC...

LF_AI的博客 416

AI算法模型之应用部署概述

针对云端部署的框架里,我们可以大致分为两类,一种是主要着力于解决推理性能,提高推理速度的框架,这一类里有诸如tensorflow的tensorflow serving、NVIDIA基于他们tensorRt的Triton(原TensorRt Serving),onnx-runtime,国内的paddle servering等, 将模型转化为某一特定形式(转化的过程中可能伴有一些优化的操作), 并对外提供服务,以此来获得相对较高的性能。一是在移动端/边缘端的部署,即嵌入式,通常以SDK形式呈现。

yangbisheng1121的博客 4219
上一篇: Adlik如何实现与燧原芯片的对接?
下一篇: 论文解读 | 解耦知识蒸馏
Linux基金会AI&Data基金会
博客等级 码龄6年 100粉丝 47原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值