deepspeed多机多卡并行训练指南

---

前言

我的配置：

7机14卡，每台服务器两张A800

问：为啥每台机只挂两张卡？
答：给我的就这样的，我倒希望单机8卡，不过这些服务器是云厂商提供的，据说都是PCIE连接，且单机最多只能挂四张卡。

服务器只允许内网访问，不能连接外网

因此，你需要先搞定如何离线配置训练环境

离线配置训练环境

具体可以参考：Anaconda 环境克隆、迁移

按照上面文章打包环境时，有可能碰到如下报错：

可通过增加参数--ignore-missing-files解决
如：conda pack -n 环境名 -o 新的环境名.tar.gz --ignore-missing-files

共享文件系统