- 博客(2)
- 收藏
- 关注
RSS订阅原创 nsys报错-Unable to configure the collection of CPU IP/backtrace samples, context switch data, or event
网上这类问题一般是Linux Kernel Paranoid Level>2，而我的环境中为-1，不是这个问题。最后发现是30iterations在我--delay的25s里几乎已经跑完了，去掉--delay参数，或者设置更多的iterations即可。然后能够正常生成nsys-rep，但rep里几乎没有任何trace，并且有一个error。为了获取真机大模型训练的流量模式，训练GPT3，但只设置了30iterations。经过一整天的各种排查，换容器、更新nsys、换机器……
2025-05-13 17:45:41
439
原创 模型训练报错- No such file or directory: ‘XXX_doc_idx.npy‘
global_batch_size=micro_barch_size * data-parallel-size，其中data-parallel-size=GPU_num/tp-size/pp-size，跑一遍单机的模型；解决：先在每台机器上运行单机的GPT模型，然后再跑多机的。更具体的，先每个机器设置。在实际DLC拉起的时候，由于大家共享一个文件系统，因此只需要master生成即可。在master机器上scp所有数据集文件到非master机器，多试几次 √。单机部分运行后打断，多机仍有此问题。
2025-05-07 11:01:48
277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人