文章目录
## main.py
from mpi4py import MPI
# 下面例子是8GPU上跑24个进程来加速数据处理,因为一个model不能全站一个gpu显存,为了减少浪费,所以开最大进程来沾满
def main(args):
comm = MPI.COMM_WORLD
rank = comm.Get_rank()
proc_num = comm.Get_size()
gpu_rank
## main.py
from mpi4py import MPI
# 下面例子是8GPU上跑24个进程来加速数据处理,因为一个model不能全站一个gpu显存,为了减少浪费,所以开最大进程来沾满
def main(args):
comm = MPI.COMM_WORLD
rank = comm.Get_rank()
proc_num = comm.Get_size()
gpu_rank