python类库32[多进程之Pool+Logging]

一 pool

multiprocessing.pool也就是传说中的进程池，pool的构造如下 

multiprocessing.Pool([processes[, initializer[, initargs[, maxtasksperchild]]]]) 中，

processes表示pool中进程的数目，默认地为当前CPU的核数。

initializer表示新进程的初始化函数。

initargs表示新进程的初始化函数的参数。

 

maxtasksperchild表示每个进程执行task的最大数目。

 

apply()用来为pool中的进程赋予task。

map()用来循环地为pool中的进程赋予tasks。

close()用来阻止新的task的提交到pool中，一但已有的tasks都完成后，pool将退出。

terminate()用来立即停止pool中所有的进程。

join()等待pool中所有的进程退出。

 

实例：

 

import multiprocessing
import time

def do_calculation(data):
    print(multiprocessing.current_process().name)
    time.sleep(3)
    return data * 2

def start_process():
    print ('Starting', multiprocessing.current_process().name)

if __name__ == '__main__':
    inputs = list(range(10))
    print ('Input   :' + str(inputs)) 
    
    pool_size = multiprocessing.cpu_count()
    pool = multiprocessing.Pool(processes=pool_size,
                                initializer=start_process,
                                )
    pool_outputs = pool.map(do_calculation, inputs)
    pool.close() # no more tasks
    pool.join()  # wrap up current tasks

    print ('Pool    :' + str(pool_outputs))
    

 

 

运行结果：

 

上面的实例中可以看到当前的CPU是8core的，pool中公有8个进程，但是有10个任务，其中有2个进程处理了2个任务。

 

二 logging

使用multiprocessing启动的logger来帮助调试多进程。例如：

logger = multiprocessing.log_to_stderr(logging.DEBUG)

logger.debug("Test") 

 

完！