揭秘sysTrace数据采集：无侵入式监控AI训练全流程的核心技术
项目地址: https://gitcode.com/openeuler/sysTrace 前往项目官网免费下载：https://ar.openeuler.org/ar/
在AI训练过程中，性能问题和故障诊断是关键挑战。sysTrace作为一款应用于AI训练任务的性能监控与故障诊断工具，其核心在于通过无侵入式数据采集技术，全面监控AI训练全流程，为后续的性能分析和故障定位提供原始素材。本文将深入剖析sysTrace数据采集的核心技术，带你了解如何实现对AI训练过程的全方位、无干扰监控。
无侵入式采集：AI训练监控的黄金法则
传统的性能监控工具往往需要对应用程序进行代码修改或重新编译，这不仅增加了开发成本，还可能对训练过程产生干扰。sysTrace采用创新的无侵入式数据采集方式，通过LD_PRELOAD环境变量将libsysTrace.so动态库加载到AI训练任务中，无需修改训练代码即可实现数据采集。
这种方式的优势在于：
- 零代码侵入：无需修改AI训练框架或应用程序代码
- 即插即用：通过简单的环境变量设置即可启用
- 低性能开销：对训练任务的影响最小化
- 广泛兼容性：支持主流的AI训练框架和硬件平台
启用数据采集的命令示例：
export LD_PRELOAD=$LD_PRELOAD:<path-to-sysTrace>/systrace/build/libsysTrace.so
多维度数据采集：洞察AI训练的每一个细节
sysTrace的数据采集模块能够从多个维度收集AI训练过程中的关键性能数据，构建全面的性能画像。主要采集维度包括：
torch_npu层数据
采集PyTorch框架在NPU上运行时的Python函数调用栈，帮助定位框架层的性能瓶颈。这些数据会被存储在timeline目录下，为后续的性能分析提供基础。
CANN层数据
深入采集CANN（Compute Architecture for Neural Networks）层的内存持有情况，包括内存申请和释放的调用栈信息。这对于判断是否发生HBM（High Bandwidth Memory）OOM（Out Of Memory）故障至关重要。
MSPTI通信算子数据
通过MSPTI（Multi-Stream Parallel Trace Interface）采集通信算子的下发和执行情况。这一维度的数据能够帮助判断是否发生算子执行缓慢的情况，从而快速定位到性能劣化的计算节点（慢卡）。
启用MSPTI跟踪的命令示例：
./sysTrace_cli enable MSPTI event=marker,kernel,api duration=10
系统级事件数据
除了AI框架和加速库层面的数据，sysTrace还采集系统级事件，包括CPU、内存、网络等资源的使用情况，为全面分析AI训练性能提供系统视角。
数据采集流程：从注入到落盘的完整链路
sysTrace的数据采集流程可以概括为以下几个关键步骤：
- 动态库注入：通过
LD_PRELOAD将libsysTrace.so加载到训练进程中 - 数据采集：在训练过程中实时捕获多维度性能数据
- 内存缓存：临时存储采集到的数据，减少I/O操作对训练的影响
- 数据落盘：将内存中的数据持久化到磁盘，保存为结构化文件
编译后的libsysTrace.so（用于LD_PRELOAD挂载）和sysTrace_cli（命令行工具）位于build目录下，是数据采集流程的核心组件。
核心技术优势：为何选择sysTrace数据采集
sysTrace的数据采集技术在AI训练监控领域具有显著优势：
全面性
通过多维度的数据采集，覆盖了从AI框架到系统底层的各个层面，提供全方位的性能数据。
精确性
针对AI训练的特点优化的数据采集算法，能够准确捕获关键性能指标和异常事件。
低侵入性
无需修改训练代码，通过动态库注入方式实现数据采集，最大限度减少对训练过程的干扰。
易用性
简单的环境变量设置和命令行工具，降低了使用门槛，方便用户快速部署和使用。
实际应用：sysTrace数据采集的价值体现
在实际的AI训练场景中，sysTrace的数据采集技术为性能优化和故障诊断提供了有力支持：
- 性能劣化检测：通过持续采集和分析性能数据，及时发现训练过程中的性能下降
- 故障定位：详细的调用栈和资源使用数据，帮助快速定位HBM OOM等故障的根本原因
- 优化指导：基于采集的数据，为AI模型和训练过程的优化提供数据支持
- 资源调度：系统级数据为AI训练任务的资源分配和调度提供决策依据
结语：开启AI训练透明化监控新时代
sysTrace的数据采集技术通过无侵入式设计和多维度数据捕获，为AI训练过程的性能监控和故障诊断提供了强大的技术支撑。其核心优势在于能够在不干扰训练过程的前提下，全面、准确地收集关键性能数据，为AI训练的效率提升和成本优化奠定基础。
随着AI模型规模的不断扩大和训练复杂度的增加，sysTrace这样的性能监控工具将在AI开发和运维中发挥越来越重要的作用，帮助开发者构建更高效、更可靠的AI训练系统。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
