机器学习编译
关注
分享
扫一扫
文章平均质量分 95
StarCap
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【编译系列】Torch.compile()训练编译——算子融合逻辑 & 工程化
从2.4版本开始，PyTorch开始支持通过torch.library的方式往torch.compile中注册新operator，对环境有一定要求torch>=2.4且gcc>=9(训练机器最高为8.2，需要手动安装)。<2.4版本也支持，但使用起来会比较繁琐。在训练场景下，要求实现operator对应的前向函数和反传函数。原创 2025-02-02 20:59:15 · 1884 阅读 · 0 评论 -
【编译系列】Torch.compile()流程解析——4. PrimTorch & TorchInductor
本文是torch.compile()流程解析系列文章，因此很多代码和样例需要结合前面的文章才会更容易理解哦~原创 2024-12-06 23:23:46 · 2273 阅读 · 0 评论 -
【编译系列】Torch.compile()流程解析——3. AOTAutograd
在上一节TorchDynamo的介绍中，我们解析了torch.compile()是如何捕获计算图并保存为GraphModule的，但在这个过程中只是对整个Python字节码进行了模拟执行、解析并构建FX Graph，相当于只是初步构建了前向计算图，没有捕获训练场景下的反向计算图。原创 2024-11-30 17:44:48 · 1969 阅读 · 0 评论 -
【编译系列】Torch.compile()流程解析——2. TorchDynamo
在上一篇【编译系列】Torch.compile()流程解析——1. torch.compile介绍，我们解释了torch.compile出现的背景并初步了解了其使用和基础组成(感兴趣的小伙伴可以去翻一翻哦~~~)。本章我们将解释四个基础组件中的TorchDynamo。原创 2024-11-27 21:09:58 · 2083 阅读 · 0 评论 -
【编译系列】Torch.compile()流程解析——1. torch.compile介绍
本系列主要分享训练编译的相关知识，第一章主要解析torch.compile的工作流程以及各个组件的作用和源码调用关系，配合代码示例进行解析。主要分为两大块：前端静态图捕获和后端编译。a. 前端对应TorchDynamo，主要介绍python编译执行的基本流程、PEP 523、TorchDynamo模拟执行字节码、FX Graph的构建过程；原创 2024-11-27 20:07:56 · 2824 阅读 · 0 评论 -
机器学习编译（Machine Learning Compiler，MLC）
Tensor program一般包含三个组成部分：buffers（存储数据）、loop（循环处理每个元素）、computation（元素计算），对Tensor program进行抽象以转换成其他表现形式，所有等价的表现形式组成搜索空间，至于怎么找到其他表现形式是个开放话题。原创 2024-10-05 20:55:10 · 1356 阅读 · 0 评论