python线程池 ThreadPoolExecutor

安小兴先生

于 2023-05-11 13:49:16 发布

阅读量283

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.youkuaiyun.com/junxing2018_wu/article/details/130620181

版权

python 专栏收录该内容

4 篇文章

订阅专栏

文章介绍了如何利用Python的concurrent.futures模块中的ThreadPoolExecutor创建一个最大容量为3的线程池，将10个爬虫任务提交到线程池中，通过submit方法执行函数，并使用done和result方法检查线程状态及获取返回结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python 线程池 ThreadPoolExecutor

- - 实现步骤
  - 代码实现

实现步骤

创建一个最大容纳数量为3的线程池
通过submit提交执行的函数到线程池中
通过done来判断线程是否完成
通过result来获取返回值

代码实现

# -*- coding:utf-8 -*-

from  concurrent.futures import ThreadPoolExecutor
import time

def spider(page):
    time.sleep(page)
    print(f"crawl task{page} finished")
    return page

t0 = time.time()
task = []
with ThreadPoolExecutor(max_workers=3) as t:  # 创建一个最大容纳数量为3的线程池
    for i in range(10):
        task.append(t.submit(spider, 12-i))  # 通过submit提交执行的函数到线程池中

    for j in range(5):
        time.sleep(2)
        print([t.done() for t in task])   # 通过done来判断线程是否完成
    print([t.result() for t in task])   # 通过result来获取返回值
    print(f"一共耗时 {time.time() - t0} s")
···