Meet AI Compiler｜Transformer 模型的编译&部署优化实践

2023 年，HyperAI超神经在北京、上海、深圳举办了 4 场 Meet TVM 线下聚会，聚集了超 1 千位资深从业者及爱好者，逐步建立了丰富的社区生态。 2024 年，HyperAI超神经聚焦 AI 编译器领域，继续为业内人士提供开放的交流平台，在今年 7 月举办了 Meet AI Compiler 技术沙龙的第 5 期。如今，2024 年接近尾声，大模型赛道激战未停，AI 编译器有哪些新突破、新应用？

12 月 28 日，HyperAI超神经将在上海五角场举办第 6 期 Meet AI Compiler 技术沙龙，本次活动分为技术分享和圆桌讨论 2 个环节。

首先，我们有幸邀请到了来自地平线、北京智源人工智能研究院、字节跳动、凌川科技的 4 位资深专家，为大家分享他们的应用案例与行业观察。此外，上海交通大学博士、Apache TVM PMC 冯思远将担任圆桌环节的主持，从专业的技术角度，和嘉宾们进行思维的碰撞。

活动详情

时间：12 月 28 日（周六）13:30-17:45

地点：上海五角场创新创业学院 2F 报告厅（杨浦区大学路 322 号）

人数：200（现场座位有限，请尽早报名）

报名：点击下方链接报名

https://hdxu.cn/p2o5

议程：

在这里插入图片描述

嘉宾及议程

环节 1 分享嘉宾

在这里插入图片描述

分享主题： Transformer 模型的编译 & 部署优化实践

内容简介：Transformer 模型近年来不仅在 LLM 领域取得了显著的成果，也在计算机视觉领域得到了广泛的应用。 在自动驾驶场景中，Transformer 模型的编译和部署优化是一个复杂的过程，端到端模型、VLM 都对端侧的编译优化和部署提出了非常大的挑战。本次分享主要介绍地平线在这方面的一些实践和经验。

观看本场分享，你将了解：

视觉 Transformer 模型编译优化和部署面临的挑战
地平线在 Transformer 模型编译优化上的探索和实践

在这里插入图片描述

分享主题： FlagGems：研发进展与生态应用探索

内容简介： 自 2.0 版本发布以来，在智源团队、合作厂商及 Triton 中国社区的紧密协作下，FlagGems 在算子支持数量、计算性能、代码生成以及运行时机制等方面取得了显著的研发突破。 同时，FlagGems 贯通领域上下游，在大模型训练与推理适配、多后端芯片集成等方面展开了创新探索，进一步拓展了算子库在多元生态中的应用场景。

观看本场分享，你将了解：

FlagGems 的最新研发成果和技术提升
算子库与大模型适配的创新实践与经验
多后端芯片集成的技术方案与应用效果
Triton 中国社区与多元生态建设进展

在这里插入图片描述

分享主题： 从计算-访存-通信优化看 AI 编译器设计

内容简介： 面向 AI 芯片的编译优化需面临 3 个角度的优化挑战：计算、访存、通信。本报告将分享 3 个方面的 AI 编译器设计与优化经验。计算角度，分享针对定制化加速单元的优化；访存角度，分享针对 AI 芯片的访存建模和优化；通信角度，分享计算通信融合的经验和进展。

观众观看本场分享，你将了解：

AI 编译器优化的全局视角
了解充分发挥 AI 芯片算力的经验技巧
了解未来分布式 AI 编译器发展方向

在这里插入图片描述

分享主题： 基于多核架构 NPU 的大模型编译优化与推理加速实践

内容简介：本次分享聚焦于多核架构 NPU 在大模型编译优化与推理加速中的实践探索。 通过分析 Transformer 等大模型的计算特性，提出基于 tiling 策略的矩阵优化、数据并行与模型并行的调度机制，以及融合算子与流水线化设计的高效推理方法。结合多核架构的并行特性，优化了算子分解、内存管理，大幅提升推理吞吐量与资源利用率。

观看本场分享，你将了解：