文章讨论了如何将传统固定shape的算子转换为支持动态shape的实现，以避免因不同输入shape导致的多次编译。通过将控制形状的参数如BLOCK_DIM,TOTAL_LENGTH,TILE_NUM等作为外部输入，在核函数中引入tiling变量来调整逻辑处理，实现了动态shape的灵活性，适应更多场景。
TIK C++矢量算子动态shape输入的实现
当算子shape固定时，开发者使用不同shape时需要重新对算子进行编译，带来大量的算子二进制文件。而动态shape的算子可以将形状通过核函数的入参传入核函数内，参与内部逻辑计算，从而符合不同shape下的使用场景。两者对比如下：
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FfR19UK8-1685276563668)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201151927.png)]](https://i-blog.csdnimg.cn/blog_migrate/e40411563a5125e0e982600acabd0313.png)
- 固定shape的输入
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3OuZzeA6-1685276563669)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201309672.png)]](https://i-blog.csdnimg.cn/blog_migrate/0b3c00b48064694f10fb43ff965e5c67.png)
- 动态shape的输入
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XirpIKvt-1685276563670)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201432240.png)]](https://i-blog.csdnimg.cn/blog_migrate/5becca6df5b0b74799ef07ed4269b4c3.png)
基于现有的固定shape算子，将其改装为动态shape的算子。将控制形状的BLOCK_DIM，TOTAL_LENGTH，TILE_NUM这些变量
依靠外界输入得到，在核函数中额外传入一个tiling，它将指向控制核函数逻辑处理的至关重要的这几个变量。
- 固定shape和动态shape代码文件的对比
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L1zy3Ee9-1685276563671)(../../../../AppData/Roaming/Typora/typora-user-images/image-20230528201812282.png)]](https://i-blog.csdnimg.cn/blog_migrate/ec890f8e3cb5a9747078899df1cd2d7d.png)
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
