李响

文章目录 1 前言 2 OneFlow 的 Graph 算子对齐概述 3 Graph 模式下自动测试实现原理 3.1 AutoTest 流程介绍 3.2 Graph 模式如何伴随 Eager 模式做算子对齐 3.3 Graph 模式的自动测试个性化 4 Graph 的 Debug 支持 5 总结 6 相关链接 1 前言 对于深度学习框架中模型的运行方式主要有两种，分别是动态图和静态图，动态图更易用，静态图性能更具优势，OneFlow 习惯将它们称为 Eager 模式和 Graph 模式。OneFl

文章目录 1 前言 2 关于 Global Tensor 2.1 OneFlow 分布式全局视角的基础保证 2.2 SBP 自动转换 2.3 to_global 方法 2.4 GlobalTensor 类代码跟踪 2.5 如何做 Global Ops 的执行测试 3 总结 4 参考链接 1 前言 为了简化分布式训练，OneFlow 提出了全局视角（Global View） 的概念，在全局视角下，可以像单机单卡编程，进行分布式训练。在 OneFlow 的设计中，使用 Placement、SBP 和

import oneflow as flow import oneflow.nn as nn import flowvision import flowvision.transforms as transforms import oneflow.nn.functional as F BATCH_SIZE=4 EPOCH_NUM = 20 DEVICE = "cuda" if flow.cuda.is_available() else "cpu" print("Using {} device".forma