python并发之concurrent.futures模块的使用

最新推荐文章于 2024-08-21 22:57:02 发布

原创

最新推荐文章于 2024-08-21 22:57:02 发布 · 1.3k 阅读

13 ·

CC 4.0 BY-SA版权

本文介绍了Python的concurrent.futures模块，它为多线程和多进程提供高级抽象，包括ThreadPoolExecutor和ProcessPoolExecutor。通过submit()和map()方法，可以方便地提交任务并获取Future对象，实现异步执行。Future对象提供了检查任务状态和获取结果的能力，wait()方法则允许灵活控制任务等待策略。

Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码。从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，实现了对threading和multiprocessing的更高级的抽象，对编写线程池/进程池提供了直接的支持。
concurrent.futures基础模块是executor和future。

Executor
Executor是一个抽象类，它不能被直接使用。它为具体的异步执行定义了一些基本的方法。
ThreadPoolExecutor和ProcessPoolExecutor继承了Executor，分别被用来创建线程池和进程池的代码。

class Executor(object):
    """This is an abstract base class for concrete asynchronous executors."""

    def submit(self, fn, *args, **kwargs):
        raise NotImplementedError()

    def map(self, fn, *iterables, timeout=None):
        if timeout is not None:
            end_time = timeout + time.time()

        fs = [self.submit(fn, *args) for args in zip(*iterables)]
        def result_iterator():
            try:
                for future in fs:
                    if timeout is None:
                        yield fu