Python并发编程—多进程-优快云博客

本文介绍了Python的multiprocessing模块，包括如何创建进程对象，`Process`函数的使用，以及在大量子进程需求下使用进程池进行管理和优化。还展示了如何创建和管理进程池，提高效率。

multiprocessing模块

常用方法

multiprocessing.Process(target=func[, args=(arg1, arg2...)])：创建进程对象
- target：方法名
- args：元组，如果参数只有一个，写法为args=(xxx,)
p.start()：运行进程
multiprocessing.cpu_count()：获取机器CPU核数

基本使用

import multiprocessing
import time

def sing():
    for i in range(5):
        print('唱歌...')
        time.sleep(1)

def eat():
    for i in range(5):
        print('吃...')
        time.sleep(1)

if __name__ == '__main__':
    multiprocessing.Process(target=sing).start()
    multiprocessing.Process(target=eat).start()

在这里插入图片描述

进程池

重复利用进程池的进程,进程数量少用进程,数量巨大用进程池

当需要创建的子进程数量不多时，可以直接利用multiprocessing.Process动态成生多个进程。但如果是上百甚至上千个目标，手动创建进程的工作量巨大，此时可以用到multiprocessing.Pool
初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务

import datetime
import multiprocessing
import os
import time

def worker(name):
    start_time = time.time()
    time.sleep(2)
    all_time = time.time() - start_time
    print('[{}] 进程 {}-{} 执行完毕, 耗时 {:.2f}s\n'.format(
        datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
        name, os.getpid(), all_time
    ), end='')

if __name__ == '__main__':
    print('[{}] 主线程开始执行执行...'.format(
        datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    ))
    # 创建进程池对象, 最大进程数为3
    pool = multiprocessing.Pool(3)
    for i in range(10):
        # 每次循环将会用空闲出来的子进程调用目标方法
        pool.apply_async(worker, (i,))
    # 关闭进程池,关闭后pool不再接受新请求
    pool.close()
    # 等待pool所有子进程执行完毕, 必须放在close后
    pool.join()