白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强
AI 开源搜索
xLLM
关注
分享
复制链接
分享到 QQ
分享到新浪微博
扫一扫
文章平均质量分 87
关注数:
0
文章数:
1
文章阅读量:
476
文章收藏量:
0
作者:
AtomGit 代码君
这里是代码君 热爱开源、沉迷AI、痴迷写代码。 分享技术、活动机会、开发者故事,还有第一时间的开源圈情报。
展开
专栏收录文章
默认排序
最新发布
最早发布
最多阅读
最少阅读
揭秘 xLLM 背后的性能密码:昇腾 ATB 加速库如何成为大模型推理 “加速器”
答案是肯定的,通过将首次 kenrel 计算出的 tiling 和 kernel 本身储存起来,后续需要使用该 kernel 和计算 tiling 时,优先寻找是否有可以复用的 kernel 和 tiling,如果有就不重复计算,从而减少 GraphOperation 的 Setup 耗时。观察使用 Setup、Execute 二级流水后的流水图可以发现:图与图之间的空泡仍然存在,其来源在于图的 Setup 过长导致图间的 Execute 下发间隔过大造成了 Device 侧的执行空泡。
原创
2025-12-15 10:03:40 ·
649 阅读 ·
0 评论