- 博客(6)
- 收藏
- 关注
RSS订阅翻译 面向大众的 PyTorch 跟踪分析
我们很高兴地宣布公开发布 Holistic Trace Analysis (HTA)，这是一个面向 PyTorch 用户的开源性能分析和可视化 Python 库。HTA 将 PyTorch 分析器收集的 Kineto 跟踪作为输入，这些跟踪复杂且难以解释，并提升这些跟踪中包含的性能信息。它最初是在 Meta 内部开发的，用于了解和调试 GPU 上大规模分布式训练作业的性能问题。多学科团队对 HTA 的功能进行了许多增强，并对其进行了扩展以支持最先进的 ML 工作负载。
2024-07-16 10:54:07
153
翻译 面向PyTorch用户的开源性能分析和可视化Python库HTA
整体跟踪分析 = Holistic Trace Analysis = HTA整体跟踪分析是一个面向PyTorch用户的开源性能分析和可视化Python库。HTA将PyTorch Profiler收集的Kineto跟踪作为输入，并提升跟踪中包含的性能信息。ML研究人员和系统工程师经常难以在计算上扩展他们的模型，因为他们不知道其工作负载中的性能瓶颈。由于缺乏“底层”可见性，作业所请求的资源（例如GPU、内存）通常与实际所需的资源不一致。HTA的目标是帮助工程师和研究人员从硬件堆栈中获得最佳性能。
2024-07-11 11:20:09
186
翻译 自动跟踪收集和分析
在这篇博客中，我们分享了如何在没有任何用户端代码检测的情况下启用 PyTorch Profiler 跟踪的收集和分析，以用于训练工作负载。我们利用 Dynolog（一个用于 CPU 和 GPU 遥测的开源守护进程）来收集 PyTorch Profiler 跟踪，并使用 Holistic Trace Analysis（一个用于分析 PyTorch Profiler 跟踪的开源库）分析收集到的跟踪。该工具链使 Meta 的工程师能够加速他们的性能优化工作流程。
2024-07-11 10:46:11
216
翻译 Core ATen Opset
Meta 内部 PyTorch Core、PyTorch Edge 和 PyTorch Compiler 团队的人员合作审查了常用 ATen 运算符列表，并讨论了是否应将每个运算符添加到。核心 ATen 运算符集可用作参考，了解哪些 ATen 操作应由使用 PT2 导出的模型的后端或编译器处理。绝大多数用例都不想分解核心 ATen 运算符集中包含的运算符。核心 ATen 运算符集所隐含的分解对绝大多数用例都很有用。
2024-07-05 09:17:09
188
翻译 如何在 PyTorch 上进行性能分析
通常，性能优化的第一步是进行性能分析，例如识别工作负载的性能热点。本教程以我最近的一个项目 pssp-transformer 为例，指导您完成 PyTorch CPU 性能优化的路径。重点将放在第 1 部分和第 2 部分。
2024-07-03 11:53:57
189
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人