找了很久的Bug：PyTorch Bus Error 程序直接挂掉

最近用Google Cloud 跑实验，GPU是A100-40GB的。

一开始跑了很多次，程序都是直接挂掉。有时候甚至没有任何错误提示信息，真的很难找出问题。有时候倒是可能报错。

可能的报错

1. No space left
2. Bus Error
3. 产生很多core.python的文件。

解决方案

试过以为自己的镜像问题，以为pytorch 版本问题，以为cuda 问题，以为deepspeed 的版本问题。结果都不是。

找了非常久， 网上一搜。发现是 /dev/shm 上面不够空间。真是郁闷死了。
我发现我的/dev/shm 只有64MB…

1. 如果你是用docker的话, 你可以设置shm的size

   docker run -it --shm-size 40G
   

2. 如果不是的话，你需要mount 一个比较大的size 到/dev/shm， 就解决了哈

备注：有时候好像 dataloader的num_workers = 0 也可以，但这样会很慢噢

相关链接

1. https://discuss.huggingface.co/t/importing-datacollator-gives-me-a-bus-error/25489
2. https://github.com/facebookresearch/mmf/issues/877
3. https://github.com/pytorch/pytorch/issues/5247
4. https://blog.youkuaiyun.com/ybdesire/article/details/134604587