昇腾AI处理器软件栈--神经网络软件架构

昇腾AI软件栈为神经网络应用提供从模型到执行的完整解决方案,包括流程编排、数字视觉预处理、张量加速等关键组件,助力AI应用高效开发。
部署运行你感兴趣的模型镜像

1574820234213560.png

为完成一个神经网络应用的实现和执行,昇腾AI软件栈在深度学习框架到昇腾AI处理器之间架起了一座桥梁,为神经网络从原始模型,到中间计算图表征,再到独立执行的离线模型提供了快速转化的捷径。昇腾AI软件栈围绕离线模型的生成、加载和执行,聚集了流程编排器、数字视觉预处理模块、张量加速引擎、框架管理器、运行管理器和任务调度器等功能块形成了一个完整的功能集群。

  • 流程编排器负责完成神经网络在昇腾AI处理器上的落地与实现,统筹了整个神经网络生效的过程。

  • 数字视觉预处理模块在输入之前进行一次数据处理和修饰,来满足计算的格式需求。

  • 张量加速引擎作为神经网络算子兵工厂,为神经网络模型源源不断提供功能强大的计算算子。

  • 框架管理器将原始神经网络模型转换成昇腾AI处理器支持的形态,并且将转换的模型与昇腾AI处理器相融合,引导神经网络运行并高效发挥出性能。

  • 运行管理器为神经网络的任务下发和分配提供了各种资源管理通道。

  • 任务调度器作为一个硬件执行的任务驱动者,为昇腾AI处理器提供具体的目标任务。运行管理器和任务调度器联合互动,共同组成了神经网络任务流通向硬件资源的大坝系统,实时监控和有效分发不同类型的执行任务。

总之,整个神经网络软件为昇腾AI处理器提供一个软硬件结合且功能完备的执行流程,助力相关AI应用的开发。

 

作者:Torrenza

您可能感兴趣的与本文相关的镜像

ComfyUI

ComfyUI

AI应用
ComfyUI

ComfyUI是一款易于上手的工作流设计工具,具有以下特点:基于工作流节点设计,可视化工作流搭建,快速切换工作流,对显存占用小,速度快,支持多种插件,如ADetailer、Controlnet和AnimateDIFF等

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值