【2023 · CANN训练营第一季】TIK C++矢量算子动态shape输入的实现

实现TIKC++矢量算子的动态shape输入优化
最新推荐文章于 2025-09-08 18:51:39 发布
原创 最新推荐文章于 2025-09-08 18:51:39 发布 · 281 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #c++

文章讨论了如何将传统固定shape的算子转换为支持动态shape的实现，以避免因不同输入shape导致的多次编译。通过将控制形状的参数如BLOCK_DIM,TOTAL_LENGTH,TILE_NUM等作为外部输入，在核函数中引入tiling变量来调整逻辑处理，实现了动态shape的灵活性，适应更多场景。

TIK C++矢量算子动态shape输入的实现

当算子shape固定时，开发者使用不同shape时需要重新对算子进行编译，带来大量的算子二进制文件。而动态shape的算子可以将形状通过核函数的入参传入核函数内，参与内部逻辑计算，从而符合不同shape下的使用场景。两者对比如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FfR19UK8-1685276563668)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201151927.png)]

  1. 固定shape的输入

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3OuZzeA6-1685276563669)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201309672.png)]

  1. 动态shape的输入

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XirpIKvt-1685276563670)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201432240.png)]

基于现有的固定shape算子，将其改装为动态shape的算子。将控制形状的BLOCK_DIM，TOTAL_LENGTH，TILE_NUM这些变量
依靠外界输入得到，在核函数中额外传入一个tiling，它将指向控制核函数逻辑处理的至关重要的这几个变量。

  1. 固定shape和动态shape代码文件的对比

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L1zy3Ee9-1685276563671)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201812282.png)]

A-Little-Boy
关注
TensorRT 系列 （2）动态shape
洪流之源
05-29 2228
TensorRT支持输入动态shape的推理，在编译模型时可以指定shape的动态范围为[L, H]，推理时允许L <= shape <= H，输入动态shape可通过createOptimizationProfile优化配置文件，来指定输入的shape可以变换的范围，当然也可以通过ONNX导出模型时进行指定，本次只演示前一种。 示例代码： // tensorRT include #include <NvInfer.h> #include <NvInferRuntime
tensorRT--- 动态shape
进击的菜鸟
05-22 873
动态shape，即编译时指定可动态的范围[L-H]，推理时可以允许 L <= shape <= H 重点提炼： 1.OptimizationProfile是一个优化配置文件，用来指定输入的shape可以变换的范围的，不要被优化两个字蒙蔽了双眼 2.如果onnx的输入某个维度是-1，表示该维度动态，否则表示该维度是明确的，明确维度的minDims, optDims, maxDims一定是一样的 // tensorRT include #include <NvIn.
AI 编译器学习笔记之十九-- 动态shape
最新发布
~ 飞 扬 的 天 空 ~
09-08 188
在模型初始化时，就为整个计算过程分配好所有需要的内存。整个运行期间零分配开销；动态shape不支持。a) 静态Shape中，最极致的优化是。for循环分块确保单次迭代够用。
浅谈MindSpore的动态Shape
Kenji_Shinji的博客
06-17 1387
在MindSpore开发过程中，由于动态Shape算子的开发需求，再加上MindSpore的动态Shape也在持续完善，笔者遇到了框架上的一些问题。通过查看源码和相关文档的方式，获得了初步的解决方案和感悟。这篇博客主要是将当时的见闻加以整理，并给出一点点开发建议。此外，当时笔者还做了组内分享，点击“阅读原文”即可获取原文PPT。由于本人刚入职不久，本博客适合于初学者，高手轻喷。1、动态Shape的定义动态Shape，指的是Tensor的Shape依赖于具体的运算，无法提前通过计算得出。具体来说分两种情况：算
tensorRT模型推理时动态shape
Rolandxxx的博客
11-05 2530
和之前全连接的代码唯一的区别就是两个点，一个是网络结构的定义换成了CNN，另一个是动态shape的配置createOptimizationProfile。OptimizationProfile是一个优化配置文件，用来指定输入的shape可以变换的范围的，不要被优化两个字蒙蔽了双眼，其实就是为了告诉tensorRT我的shape是什么范围！在全卷积网络中我们通常就是有这个诉求的，推理时的shape是可以动态改变的，不一定要限制死，这个动态shape不一定只宽高，还指batchsize也是动态的。
CNN推理和动态shape
qq_41389330的博客
08-17 836
cnn的动态输入
2023 · CANN训练营第一季TIK C++算子开发
05-23
本资源摘要信息主要介绍了CANN训练营第一季TIK C++算子开发的相关知识点，涵盖了核函数编写、函数类型限定符、核函数调用、算子执行模型、CPU模型、NPU模式、内置宏、矢量计算指令等方面的内容。 核函数编写 在...
【2023 · CANN训练营第一季】——4小时搞定训练营笔记
weixin_54022960的博客
05-27 377
2023年CANN训练营，吸引了超800名学员参加，共发表了数百篇学习笔记。笔记难写吗？其实，只要动手去写就行！有哪些笔记可以写？这些笔记都需要怎么写？通过这篇笔记，和“新”入营的小伙伴们交流下，自己写作训练营笔记的体会。最后，再提醒大家一下，本期还有个神奇的笔记倍增魔法：根据规则，写好一篇笔记，发在N个平台，那就是N篇笔记。
CANN训练营：2023 TIK C++算子开发实战
"CANN训练营第一季TIK C++算子开发主要涵盖了C++语言在AI计算领域的应用，特别是针对核函数的编写、调用以及算子执行模型的讲解，适用于CPU和NPU两种模式下的功能与性能调试。课程通过示例介绍了如何利用内置宏进行...
【2023 · CANN训练营第一季】Ascend C算子开发入门（上）
cftang9999的专栏
05-17 1173
当前TIK2支持的AI处理器型号为昇腾310P AI处理器、昇腾910 AI处理器，其他型号暂不支持。当前支持用户使用g++等C/C++编译器编译在cpu侧执行的TIK2算子，并使用gdb单步调试；支持用户使用CCEC编译器编译在npu侧执行的TIK2算子，实现加速计算，暂不支持加载至网络模型中进行整网验证。
【2023 · CANN训练营第一季】TIK C++算子开发入门课后小测答案个人解析分享
m0_46445477的博客
05-31 681
A. floatB. doubleC. int解析：在 Tik C++ 算子开发中，核函数指针（Kernel Function Pointer）是一种用于定义算子计算逻辑的方式。Tik 算子核函数指针的入参变量类型可以是 gm uint8_t*，也就是指向 Global 内存中 uint8_t 类型数据的指针。这是因为 Tik 算子计算逻辑是在昇腾处理器上执行的，而昇腾处理器的内存模型是基于 Global 内存和 Local 内存的，因此需要使用 gm 关键字来标识 Global 内存中的数据。
代码动态修改shape属性
zhengyongbo的博客
05-08 1501
今天突然遇到一个问题， 我需要几个不同边线颜色，不同背景色颜色的矩形框，之前我都是一个需求在drawable中创建一个xml，然后我想，难道没有办法动态改变其属性么，经过查询找到以下方法//里面的值单位为px，需要讲dp转换为px GradientDrawable mGroupDrawable= (GradientDrawable) button.getBackground();
4.4.tensorRT基础(1)-模型推理时动态shape的具体实现要点
周同学的博客
07-16 4129
4.4.tensorRT基础(1)-模型推理时动态shape的具体实现要点
深度学习框架与动态shape
archimekai的博客
09-26 3190
动起来更快？从Nimble和DISC看深度学习框架与动态shape •2021年9月25日 archimekai@163.com •什么是动态shape/动态模型 •静态模型：每个算子的输入输出shape均在图执行前已知。 •编译期就知道形状，并且执行期保持不变 •张量内存预先分配 •动态模型：包括控制流、动态数据结构（例如tree-structured long short-term memory）、动态形状的模型 •张量形状、内存不能预先知道 • •使用动态图的主要领域 •自然语言处
DietCode：TVM中新的动态Shape解决方案
LF_AI的博客
12-09 889
‍‍近年来，随着深度学习领域动态 shape 推理场景激增，如机器翻译、语音识别等，针对动态 shape 模型的优化成为了热门研究议题。本文主要介绍了 DietCode 的整体架构设计，尝试了解 DietCode 如何针对动态 shape 进行调优。以 BERT 模型为例，DietCode 与 Ansor 相比， 搜索时间减少 5.88倍，性能提高约 70%。DietCode项目已经开始合入TVM...
统一多场景自动编译加速——支持动态shape场景，一套架构搞定训推需求
百度大脑
08-07 486
为了让飞桨开发者们掌握第一手技术动态、让企业落地更加高效，飞桨官方在7月至10月特设《飞桨框架3.0全面解析》系列技术稿件及直播课程。技术解析加代码实战，带大家掌握包括核心框架、分布式计算、产业级大模型套件及低代码工具、前沿科学计算技术案例等多个方面的框架技术及大模型训推优化经验。本文是该系列第三篇技术解读，文末附对应直播课程详情。近些年，在深度学习场景如何更好的借助编译器技术来提升任务表现变得越...
LLM动态Shape实现原理与核心技术
ZJQ的博客
03-26 270
LLM动态Shape实现原理与核心技术 1. **动态Shape核心原理** 2. **实现方法与关键技术** 3. **示例：vLLM处理动态长度输入** 4. **动态Shape vs 静态Shape对比** 5. **性能优化案例** 总结 `SamplingParams` 是什么 常见参数及作用 使用示例
C++&TensorRT | 推理时动态shape
ASKCOS博客
12-27 1102
2.1.2. 在运行时，向engine请求绑定维度会返回用于构建网络的相同维度。OptimizationProfile是一个优化配置文件，用来指定输入的shape可以变换的范围的，不要被优化两个字。动态shape，即编译时指定可动态的范围[L-H]，推理时可以允许 L
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值