multiprocessing导致内存不足问题 Cannot allocate memory

错误提示：

  pool = multiprocessing.Pool(processes=processes)
  File "/data1/anaconda3/lib/python3.8/multiprocessing/context.py", line 119, in Pool
    return Pool(processes, initializer, initargs, maxtasksperchild,
  File "/data1/anaconda3/lib/python3.8/multiprocessing/pool.py", line 212, in __init__
    self._repopulate_pool()
  File "/data1/anaconda3/lib/python3.8/multiprocessing/pool.py", line 303, in _repopulate_pool
    return self._repopulate_pool_static(self._ctx, self.Process,
  File "/data1/anaconda3/lib/python3.8/multiprocessing/pool.py", line 326, in _repopulate_pool_static
    w.start()
  File "/data1/anaconda3/lib/python3.8/multiprocessing/process.py", line 121, in start
    self._popen = self._Popen(self)
  File "/data1/anaconda3/lib/python3.8/multiprocessing/context.py", line 276, in _Popen
    return Popen(process_obj)
  File "/data1/anaconda3/lib/python3.8/multiprocessing/popen_fork.py", line 19, in __init__
    self._launch(process_obj)
  File "/data1/anaconda3/lib/python3.8/multiprocessing/popen_fork.py", line 70, in _launch
    self.pid = os.fork()
OSError: [Errno 12] Cannot allocate memory

原因
我这边遇到的原因是因为本身脚本就占用了很大的内存，而在Linux系统中，默认的多进程启动方式是 fork，每次 fork 调用都会复制父进程的整个内存空间，从而导致整个服务器内存不足而退出。

参考资料:

在Linux系统中，默认的多进程启动方式是 fork，这种方式可能会导致内存占用问题。可以改为 spawn 方式，这种方式可以节省内存并更加安全：
multiprocessing.set_start_method(‘spawn’)
在程序入口处设置启动方式，可以减少内存占用

fork 的限制
资源消耗：每次 fork 调用都会复制父进程的整个内存空间，如果内存使用较大，可能会导致资源消耗问题。
数据竞争：如果父子进程需要共享数据，必须小心处理数据竞争和同步问题。