昇腾CANN两种TBE算子的比较

最新推荐文章于 2025-02-28 10:56:51 发布
原创 最新推荐文章于 2025-02-28 10:56:51 发布 · 560 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

部署运行你感兴趣的模型镜像

TBE自定义算子有两种：

  • DSL（Domain-Specific Language）
  • TIK（Tensor Iterator Kernel）

其中DSL方式只需要定义算子的计算表达，不用考虑如何调度；
而TIK方式就需要同时定义计算与调度两方面。

所以DSL上手快，但性能可能不理想，适合初学者以及快速验证等场景；
TIK开发则需要了解SOC结构与特性，可以开发出更高性能的算子，适合对性能有一定要求的场景。

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

0152-极智AI-解读昇腾CANN TBE算子开发方式
06-11
0152_极智AI_解读昇腾CANN TBE算子开发方式
基于CANN框架的自定义算子开发与部署：详细流程、环境配置及代码注释
qq_38334677的博客
10-01 649
算子（Operator）是深度学习模型中的基本计算单元。在模型训练和推理的过程中，算子负责执行各种数学运算，如卷积、矩阵乘法、激活函数等。虽然CANN框架内置了大量常见的算子，但在某些特定场景下，开发人员可能需要定制专用算子，以满足特定的应用需求。这就是自定义算子开发的意义所在。算子插件：负责将算子集成到AI推理框架中，允许模型在推理时调用该算子。算子原型定义：用于定义算子的输入、输出及其属性。算子信息库：记录算子的基本信息，便于系统管理和调用。
TBE自定义算子开发工具学习笔记
Stretch9776的博客
04-22 1948
TBE自定义算子开发工具学习笔记 网课：视频地址 1 TBE基本概念 1.1 TBE基础知识 1.1.1 定义 TBE（Tensor Boost Engine）自定义算子开发工具： 一款华为自研的 NPU算子开发工具 在TVM（Tensor Virtual Machine）框架基础上扩展 提供了一套Python API来实施开发活动 学习建议： 1.2 TBE基本概念 本章学习如下TBE中的基本概念： NPU、算子、TVM、DSL、HalideIR 1.2.1 NPU NPU 是 神
MindSpore框架TBE算子开发全流程
nyanyaxia的博客
11-01 2806
MindSpore框架下TBE算子开发全流程图文案例
TBE算子开发入门(Altas200I DK A2)
weixin_42140974的博客
12-20 702
最后一下添加/usr/bin/aarch64-linux-gnu-g++，构建工程，遇到无法找到头文件include “register/register.h” ，解决方法。本地部署成功，在Ascend-cann-toolkit安装目录/ascend-toolkit/latest/opp 中可以看到自定义算子包更新。用Mindstudio打开operator_demo_projects/aicpu_operator_sample工程，构建工程。在远端对应的文件下可以看到生成的文件，和算子库更新。
MindStudio制作MindSpore TBE算子（二）算子测试
weixin_44130162的博客
02-10 1750
在上一节中，成功制作了Mindspore的Add算子，具体可以查看，这一节，一起看看如何对算子进行测试。制作Mindspore的TBE流程中用于测试的是test_xxx_impl.py和xxx_case_timestation.json文件。
深入解析昇腾AI CPU与TBE算子开发：从编译到运行的全流程解析及最佳实践
qq_38334677的博客
09-26 355
在深度学习的语境中，算子是神经网络中的基本计算单元，例如卷积、矩阵乘法、激活函数等操作。在华为昇腾AI处理器上，算子分为TBE算子和AI CPU算子，分别处理不同类型的任务。TBE算子通常处理密集的矩阵和向量计算，而AI CPU算子则主要用于控制逻辑和标量计算。开发算子的流程包括编写算子的逻辑实现、编译生成适配硬件的代码、调度任务执行，最后在硬件上运行。这个过程不仅仅是简单的代码编写，还需要理解昇腾AI处理器的架构和优化机制。算子原型定义包含算子调用的入口，它规定了算子的数学含义和输入输出的约束。
深入解析CANN算子开发：TBE与AI CPU算子类型及其开发方法全指南
qq_38334677的博客
09-25 1053
TBE算子主要在AI Core上执行，用于处理与矩阵、向量和标量相关的计算任务。由于AI Core强大的并行计算能力，TBE算子在深度学习的推理和训练过程中，承担了大部分的计算密集型任务。TBE和AI CPU算子是CANN算子开发中的两个重要组成部分，各自针对不同的计算需求而设计。在AI加速场景中，选择适合的算子类型并通过合理的优化策略，能够大幅提升模型的推理与训练效率。
极智AI | 聊一聊昇腾 CANN TBE 算子开发方式
极智视界
10-04 1427
本文主要聊一聊华为昇腾 CANN TBE 开发方式。
昇腾CANN自定义算子分类与关系
UnseenMe的博客
10-19 398
CANN的自定义算子分为AICPU算子与TBE算子。 其中TBE算子又可以分为DSL与TIK两种。 注：当前版本为CANN 5.0
【CANN训练营第三季】TBE算子开发
kewei chen
01-07 1231
安装准备：https://www.hiascend.com/document/detail/zh/mindstudio/50RC3/instg/instg_000022.html。3、进行Sinh算子的功能调试，需要进行中间数据的验证以及结果数据的验证，使用默认误差。2、进行算子代码实现文件 "sinh.py"的开发，实现Sinh算子的计算逻辑。实现算子的如下交付件，并进行算子的ST测试，验证算子在昇腾AI处理器上执行是否成功。实现除“代码实现文件*.py”之外的剩余交付件，包含：【10分】
TBE单算子验证及调试
极客不撩妹
08-09 1775
TBE单算子验证及调试前言TBE单算子测试总体介绍TBE单算子测试的目的TBE测试工程介绍TBE单算子UT测试UT测试目的UT测试流程UT测试示例 ——以softmax_grad算子为例UT测试结果分析TBE单算子ST测试ST测试目的ST测试流程ST测试示例ST测试结果分析TBE单算子BBIT测试BBIT测试目的BBIT测试流程BBIT测试结果分析TBE单算子性能分析性能分析目的与流程性能分析测试示例性能分析结果分析总结 前言 TBE单算子测试总体介绍 TBE单算子测试的目的 算子程序能够跑通，场景覆盖全
CANN算子：利用迭代器高效实现Tensor数据切割分块处理
华为云官方博客
07-04 1071
本文以Diagonal算子为例，介绍并详细讲解如何利用迭代器对n维Tensor进行基于位置坐标的大批量数据读取工作。
专家系统TBE算子调优
Reeeeeeyh的博客
07-14 1025
专家系统TBE算子调优
笔记｜TBE自定义算子开发（一）
最新发布
weixin_45041379的博客
02-28 496
为神经网络模型和数据提供了快速、高能效的计算资源，如和华为公司最新推出的。深度学习算法由一个个计算单元组成，我们称这些计算单元为算子（Operator，简称Op）。在网络模型中，算子对应层中的计算逻辑，例如：卷积层（Convolution Layer）是一个算子；全连接层（Fully-connected Layer， FC layer）中的权值求和过程，是一个算子。
TBE算子的DSL开发方式
weixin_45668674的博客
11-22 329
视频
【CANN训练营】Ascend算子开发入门笔记
JeffDing
10-12 1001
Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范，最大化匹配用户开发习惯；通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力AI开发者低成本完成算子开发和模型调优部署。使用Ascend C开发自定义算子的优势C/C++原语编程，最大化匹配用户的开发习惯编程模型屏蔽硬件差异，编程范式提高开发效率多层级API封装，从简单到灵活，兼顾易用与高效孪生调试，CPU侧模拟NPU侧的行为，可优化在CPU侧调试。
【2024CANN训练营第二季】算子及Ascend C概述
JeffDing
10-17 1086
Ascend C算子是CANN针对算子开发场景推出的编程语言，通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力AI开发者低成本完成算子开发和模型调优部署。使用Ascend C编程语言开发的算子称之为Ascend C算子。C/C++原始编程，最大化匹配用户的开发习惯编程模型屏蔽硬件差异，编程范式提高开发效率多层级API封装，从简单到灵活，兼顾易用与高效孪生调试，CPU侧模拟NPU侧的行为，可优化在CPU侧调试。
深入解析TBE及基于TVM的算子开发：昇腾AI处理器自定义算子设计全攻略
qq_38334677的博客
09-26 565
TBE全称为Tensor Boost Engine，是昇腾AI处理器的一部分，它直接负责在AI Core上执行算子。通过TBE，开发者可以利用TVM的编译栈，结合硬件特性进行深度优化，从而生成高效的算子。在AI的快速发展中，各类硬件加速器层出不穷，而不同的神经网络模型在这些平台上难以充分利用其计算性能。TBE通过基于TVM的灵活性和扩展性，为开发者提供了统一的接口，让模型可以在昇腾AI处理器上高效运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值