Python混用multiprocess、logging和fork的问题

项目中使用Python的multiprocess模块，构造了一个进程池来执行并行任务。子进程的任务中使用了commands模块来调用C++程序执行实际的计算任务(相当于又fork出了一个进程)。在使用过程中发现会出现子进程卡死的问题。

网上查找资料发现，首先logging模块本身是不支持多进程的，即在multiprocess中不能直接使用logging，可以参考官方文档。更严重的问题是，由于Python内置模块的bug，混用multiprocess、logging和fork的问题会导致进程hang死，可以参考这里，或者google上搜索获取更多的讨论。

为了解决这个问题，我考虑有两个方式:(1)将python脚本封装成独立的子任务，在shell(或者其他语言)中使用进程池，来调起python任务；(2)将Python调起multiprocess前的模块尽可能简单化，目的是尽量避免使用logging模块。

实际试验中方法(2)几乎无效，因为很难完全避免Logging模块。我最终采用的方案1来解决问题。