背景
从 Python3.2 开始,标准库为我们提供了 concurrent.futures 模块,它提供了 ThreadPoolExecutor 和 ProcessPoolExecutor两个类,实现了对 threading 和 multiprocessing 的进一步抽象(这里主要关注线程池),不仅可以自动调度线程,还可以做到:
- 主线程可以获取某一个线程(或者任务的)的状态,以及返回值。
- 当一个线程完成的时候,主线程能够立即知道。
- 让多线程和多进程的编码接口一致。
总结:实现更容易,效率更高
ThreadPoolExecutor和ProcessPoolExecutor实现 互换很便捷,搞懂一个即可
看到 Pool 单词,我们就能想到 这是一个 池子,池子的概念 是 大小是有上限的,满足最大的数值以后就开始排队
1. 线程池ThreadPoolExecutor
使用 ThreadPoolExecutor 来实例化线程池对象。传入max_workers参数来设置线程池中最多能同时运行的线程数目。
from concurrent.futures import ThreadPoolExecutor
executor = ThreadPoolExecutor(max_workers=2) # 表示在这个线程池中同时运行的线程有2个线程
2. 线程池Submit
使用 submit 函数来提交线程需要执行的任务(函数名和参数)到线程池中,并返回该任务的返回值,注意 submit() 不是阻塞的,而是立即返回,即无序返回。通过 submit 函数返回的任务句柄,能够使用 done() 方法判断任务是否结束,可以使用result() 方法获得返回值。
import concurrent.futures
executor = concurrent.futures.ThreadPoolExecutor(max_workers=2)
def func(num):
for i in range(num):
time.sleep(1)
return num * num
task = executor