如何知道一个训练任务中rank、stream、task的关系

最新推荐文章于 2025-08-04 07:30:00 发布

最新推荐文章于 2025-08-04 07:30:00 发布 · 279 阅读

文章标签：

#YOLO #人工智能 #算法 #深度学习

问题描述：

如果得到一个训练任务有哪些rank，然后一个rank有哪些stream，一个stream有哪些task？

同时如何知道哪两个task有通信呢？

是否可以通过日志来获取这些信息呢？

解决方法：

如果说的是mindspore框架在昇腾环境下训练的话，是可以通过昇腾的日志观察到部分task相关的信息，相关的日志目录通常在~/ascend目录下面：

上述日志是只要运行就会自动保存的，该目录下还有很多其它日志文件，可以用命令直接搜索一下相关的关键词信息；你也可以把mindspore框架的日志级别环境变量设置为info级别，然后运行中会直接打印出很多框架层面的信息，包括峰值device memory之类的信息，可以找找里面或许也有task相关的信息

还有在mindspore的性能分析中，也可以收集通信相关的数据，里面或许有你需要的信息，性能分析相关的操作可参考文档：

https://www.mindspore.cn/mindinsight/docs/zh-CN/master/performance_profiling_ascend.html