昇腾AI处理器软件栈--神经网络软件架构

最新推荐文章于 2025-12-03 08:43:36 发布
原创 最新推荐文章于 2025-12-03 08:43:36 发布 · 109 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #神经网络 #深度学习 #机器学习

昇腾AI软件栈为神经网络应用提供从模型到执行的快速转化路径。它包括流程编排器、数字视觉预处理模块、张量加速引擎等组件，实现模型优化与硬件资源的有效调度。
部署运行你感兴趣的模型镜像

1574820234213560.png

为完成一个神经网络应用的实现和执行，昇腾AI软件栈在深度学习框架到昇腾AI处理器之间架起了一座桥梁，为神经网络从原始模型，到中间计算图表征，再到独立执行的离线模型提供了快速转化的捷径。昇腾AI软件栈围绕离线模型的生成、加载和执行，聚集了流程编排器、数字视觉预处理模块、张量加速引擎、框架管理器、运行管理器和任务调度器等功能块形成了一个完整的功能集群。

  • 流程编排器负责完成神经网络在昇腾AI处理器上的落地与实现，统筹了整个神经网络生效的过程。

  • 数字视觉预处理模块在输入之前进行一次数据处理和修饰，来满足计算的格式需求。

  • 张量加速引擎作为神经网络算子兵工厂，为神经网络模型源源不断提供功能强大的计算算子。

  • 框架管理器将原始神经网络模型转换成昇腾AI处理器支持的形态，并且将转换的模型与昇腾AI处理器相融合，引导神经网络运行并高效发挥出性能。

  • 运行管理器为神经网络的任务下发和分配提供了各种资源管理通道。

  • 任务调度器作为一个硬件执行的任务驱动者，为昇腾AI处理器提供具体的目标任务。运行管理器和任务调度器联合互动，共同组成了神经网络任务流通向硬件资源的大坝系统，实时监控和有效分发不同类型的执行任务。

总之，整个神经网络软件为昇腾AI处理器提供一个软硬件结合且功能完备的执行流程，助力相关AI应用的开发。

作者：Torrenza

您可能感兴趣的与本文相关的镜像

Dify

Dify

AI应用
Agent编排

Dify 是一款开源的大语言模型（LLM）应用开发平台，它结合了 后端即服务(Backend as a Service) 和LLMOps 的理念，让开发者能快速、高效地构建和部署生产级的生成式AI应用。 它提供了包含模型兼容支持、Prompt 编排界面、RAG 引擎、Agent 框架、工作流编排等核心技术栈，并且提供了易用的界面和API，让技术和非技术人员都能参与到AI应用的开发过程中

A_F_O
关注
【AI系统】昇腾 AI 处理器
ZOMI酱
11-27 3131
本文将会介绍华为昇腾 AI 处理器的架构与卷积加速原理。昇腾 AI 处理器是华为基于达芬奇架构专为AI计算加速而设计的处理器，它支持云边端一体化的全栈全场景解决方案，具有高能效比和强大的 3D Cube 矩阵计算单元，支持多种计算模式和混合精度计算。昇腾 AI 处理器的架构包括了 AI Core、AI CPU、多层级片上缓存/缓冲区和数字视觉预处理模块 DVPP，这些组件通过 CHI 协议的环形总线实现数据共享和一致性而组成的 SoC。
大模型国产化适配 --昇腾AI全栈软硬件平台总结
造梦先森Kai的专栏
07-12 2271
华为昇腾AI全栈包含5层架构：硬件层提供Atlas系列设备；异构计算架构CANN对标CUDA+CuDNN，支持主流AI框架并优化处理器性能；AI框架层适配多种深度学习工具；应用使能层提供开发接口；行业应用层实现场景化落地。其中，CANN采用分层设计，包含编程接口（AscendCL）、计算服务（算子库与调优引擎）、编译层（图编译器与TBE）、执行层（Runtime等模块）和基础服务层（SVM/通信等），通过异构调度实现CPU/NPU协同计算，显著提升AI任务效率。该架构打通从芯片到应用的完整技术链条，为开发者
【华为云技术分享】昇腾AI处理器软件栈--总览
华为云官方博客
11-22 4260
昇腾AI软件栈提供了计算资源、性能调优的运行框架以及功能多样的配套工具，是一套完整的解决方案，可以使昇腾AI处理器发挥出极佳的性能。 昇腾AI软件栈可以分为神经网络相关软件模块、工具链以及其它软件模块。 · 神经网络软件主要包含了流程编排器（Matrix），框架管理器（Framework），运行管理器（Runtime）、数字视觉预处理模块（Digital Vision Pre-Processi...
昇腾AI处理器软件栈--任务调度器（TS）
华为云官方博客
12-11 2239
任务调度器与运行管理器工程组成软硬件之间的大坝系统。在执行时，任务调度器对硬件进行任务的驱动，为昇腾AI处理器提供具体的目标任务，与运行管理器一起完成任务调度流程，并将输出数据回送给运行管理器，充当了一个任务输送分发和数据回传的通道。 功能简介 任务调度器运行在设备侧的任务调度CPU上，负责将运行管理器分发的具体任务进一步派发到AI CPU上。它也可以通过硬件任务块调度器（Block Sche...
昇腾AI处理器软件栈--张量加速引擎（TBE）
华为云官方博客
12-05 5265
神经网络构造中，算子组成了不同应用功能的网络结构。而张量加速引擎（Tensor Boost Engine）作为算子的兵工厂，为基于昇腾AI处理器运行的神经网络提供算子开发能力，用TBE语言编写的TBE算子来构建各种神经网络模型。同时，TBE对算子也提供了封装调用能力。在TBE中有一个优化过的神经网络TBE标准算子库，开发者可以直接利用标准算子库中的算子实现高性能的神经网络计算。除此之外，TBE也提...
昇腾AI处理器软件栈--流程编排器（Matrix）
华为云官方博客
11-29 4072
功能简介 昇腾AI处理器对网络执行层次进行划分，将特定功能的执行操作看做基本执行单位——计算引擎（Engine）。每个计算引擎在流程编排过程中对数据完成基本操作功能，如对图片进行分类处理、输入图片预处理及输出图片数据的标识等。计算引擎由开发者进行自定义来完成所需要的具体功能。 通过流程编排器的统一调用，整个深度神经网络应用一般包括四个引擎：数据引擎，预处理引擎，模型推理引擎以及后处理引擎。 ...
【读一本书】《昇腾AI处理器架构与编程》--神经网络基本知识学习(1)
华为云官方博客
11-07 4286
今天我们要讲的主题是——神经网络基础知识。 1 聊聊为啥写这个系列 我最开始玩公众号的前因，其实在第一篇博客里就提过了，主要是为了督促自己学习并记录、分享自己的想法。因此断断续续地写了20+python相关的博客，也收获了一些陌生同学的善意。虽然也很羡慕大神们的上千、上万粉丝（过500就能赚钱了呢），但是这都不重要，正如那句诗： 白茶清欢无别事，我在等风也等你。 知识和能力的吸取和...
【读一本书】《昇腾AI处理器架构与编程》--神经网络基础知识(2)
华为云官方博客
11-11 2096
1 卷积神经网络：输入层 之前提到多层感知机的参数太多，导致训练耗时长并且对图像处理也不具有优势，因此大神们 就提出了多层神经网络，其中最经典的是卷积神经网络(Convolution Neural Network, CNN)。 一般 CNN网络分为输入层、卷积层、池化层、全连接层及输出层。以CNN中最经典的LeNet5网络结构来说明。LeNet5的结构为“输入层--卷积层1--池化层1--卷积...
【课程笔记】华为 HCIA-AI 人工智能37：昇腾芯片软件架构
淵_ken的博客
04-26 493
把神经网络模型转化为昇腾芯片支持的形态，让Tensorflow或Pytorch训练出的模型也可以高效运行在昇腾芯片上。：应用级封装，针对现在人工智能中主流应用领域，"计算机视觉""自然语言处理""语音处理"提供封装好的引擎（：专门处理视觉任务，在输入之前进行一次数据处理和修饰，可以统一图像大小，对数据增强。最合适，便会生成一个网络模型最后转换为离线模型，而离线模型可以直接利用。来高效实现这些算法，如果加速库不支持算法还可以自定义算子，L1最接近。：提供算子，让昇腾芯片完成算法。加速库Library。
解密昇腾AI处理器--DaVinci架构（存储系统）
华为云官方博客
11-28 5904
AI Core的片上存储单元和相应的数据通路构成了存储系统。众所周知，几乎所有的深度学习算法都是数据密集型的应用。对于昇腾AI芯片来说，合理设计的数据存储和传输结构对于最终系统运行的性能至关重要。不合理的设计往往成为性能瓶颈，从而白白浪费了片上海量的计算资源。AI Core通过各种类型分布式缓冲区之间的相互配合，为深度神经网络计算提供了大容量和及时的数据供应，为整体计算性能消除了数据流传输的瓶颈，...
解密昇腾AI处理器--DaVinci架构（总览）
华为云官方博客
11-22 8052
不同于传统的支持通用计算的CPU和GPU，也不同于专用于某种特定算法的专用芯片ASIC，达芬奇架构本质上是为了适应某个特定领域中的常见的应用和算法，通常称之为“特定域架构（Domain Specific Architecture，DSA）”芯片。 昇腾AI芯片的计算核心主要由AI Core构成，负责执行标量、向量和张量相关的计算密集型算子。AI Core采用了达芬奇架构，其基本结构如图3-2...
解密昇腾AI处理器--DaVinci架构（计算单元）
华为云官方博客
11-25 6885
计算单元是AI Core中提供强大算力的核心单元，相当于AI Core的主力军。AI Core计算单元主要包含矩阵计算单元、向量计算单元、标量计算单元和累加器，矩阵计算单元和累加器主要完成与矩阵相关的运算，向量计算单元负责执行向量运算，标量计算单元主要负责各类型的标量数据运算和程序的流程控制。 矩阵计算单元 上图表示一个矩阵A和另一个矩阵B之间的乘法运算C=A*B，其中M表示矩阵A的...
基于昇腾AI异构计算架构CANN的通用目标检测与识别一站式方案初体验
qq_40679625的博客
06-10 4210
在计算机视觉领域，CANN最新开源的[通用目标检测与识别样例]，通过其强大的可定制、可扩展性，为AI开发者们提供了良好编程选择。大量模块化编程逻辑、可扩展配置，让开发者们像乐高搭积木一样，仅需进行简单的替换和定制，就能实现符合业务场景需求的高性能、企业级AI应用。......
国产化AI计算资源调度方案：架构师详解昇腾+鲲鹏环境下的优化实践
AI开发架构师
09-03 857
在信创（信息技术应用创新）背景下，越来越多的企业开始部署国产化AI集群——以昇腾NPU（神经网络处理器）为AI计算核心、鲲鹏CPU为通用计算底座的异构架构逐渐成为主流。原生Kubernetes（K8s）无法识别昇腾NPU的硬件特性（如算力、device ID），导致资源分配混乱；鲲鹏CPU的ARM架构与传统x86差异大，通用调度策略无法发挥其多核并行优势；
CANN训练营_昇腾AI入门课第二章学习笔记
weixin_51803110的博客
10-22 957
CANN训练营_昇腾AI入门课学习笔记，欢迎大家一起学习讨论。
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 804
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 942
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
最新发布
minhuan的专栏
12-03 1068
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1864
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
华为ict大赛升腾ai
11-17
### 华为ICT大赛与昇腾AI技术的结合 华为ICT大赛是华为公司面向全球高校学生举办的年度赛事，旨在推动信息与通信技术（ICT）领域的人才培养，涵盖多个技术方向，包括路由交换、云计算、大数据、人工智能等。近年来，随着人工智能技术的快速发展，昇腾AI（Ascend AI）作为华为全栈全场景AI解决方案的核心组成部分，已成为大赛中的重要赛题方向之一[^1]。 在华为ICT大赛中，昇腾AI相关赛题通常围绕Ascend系列AI处理器、MindSpore AI计算框架以及ModelArts开发平台展开。参赛者需要掌握基于昇腾架构的模型训练、推理优化、算子开发及端边云协同部署等技能[^1]。比赛内容可能包括使用MindSpore进行神经网络建模、利用CANN（Compute Architecture for Neural Networks）进行底层性能调优，以及在Atlas系列硬件上实现AI应用落地。 ```python # 示例：使用MindSpore定义一个简单的神经网络模型（适用于昇腾AI处理器） import mindspore.nn as nn from mindspore import context # 配置运行环境为昇腾AI处理器 context.set_context(mode=context.GRAPH_MODE, device_target="Ascend") class SimpleNet(nn.Cell): def __init__(self): super(SimpleNet, self).__init__() self.dense1 = nn.Dense(784, 128) self.relu = nn.ReLU() self.dense2 = nn.Dense(128, 10) def construct(self, x): x = self.dense1(x) x = self.relu(x) x = self.dense2(x) return x network = SimpleNet() print("Neural network built for Ascend AI processor.") ``` 参赛者还需熟悉华为提供的开发者工具链，如MindStudio用于AI应用开发与调试，能够完成从数据预处理到模型部署的全流程任务。通过该赛事，学生不仅可以提升对国产AI软硬件体系的理解，还能增强解决实际工程问题的能力[^1]。 ### 赛事意义与人才培养 华为ICT大赛中引入昇腾AI赛道，有助于推动自主可控AI技术生态的建设。通过竞赛形式，激发高校学生对国产AI芯片和框架的学习热情，促进产教融合，为国家在人工智能领域的战略发展储备高端人才[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值