一文教你面对高并发任务时如何选择：多进（线）程 VS 异步函数-优快云博客

本文链接：https://blog.youkuaiyun.com/pydaxing_pdx/article/details/140070460

face_img

阅读原文

在现代软件开发中，处理高并发和网络I/O密集型任务是一个常见的挑战。Python提供了多种方法来处理并发，其中最常用的是多进（线）程和异步编程。本文将探讨这两种技术在实际应用中的性能差异，并通过实验来比较它们在处理大量网络请求时的效率。

1、多进（线）程和异步函数

1.1、多进（线）程

多进（线）程允许多个任务在同一程序中并行运行。每个线程占用一定的系统资源，如CPU时间和内存。多进（线）程适合于同时执行多个独立任务，尤其是在多核CPU上。

优点

可以实现真正的并行执行。
在多核处理器上，可以显著提高程序的执行效率。

缺点

线程管理需要消耗额外的资源。
线程之间的同步和通信可能导致复杂的竞态条件和死锁问题。

1.2、异步函数

异步编程是一种单线程的任务调度方式，它通过事件循环来管理任务的执行。这种方式非常适合处理I/O密集型任务，如网络请求和文件操作。

优点

高效的I/O处理能力，不会阻塞主线程。
减少了线程创建和上下文切换的开销。

缺点

编程模型相对复杂，需要理解事件循环和回调机制。
在CPU密集型任务中表现不佳，因为所有任务都在同一个线程中执行。

2、性能对比

异步编程和多进（线）程都是实现并发的有效手段，但它们各有优势和适用场景。异步编程通常用于I/O密集型任务，如文件操作和网络请求，而多进（线）程则可以同时处理多个任务，尤其是在多核处理器上。

2.1、多进（线）程

在使用多进（线）程的时候，一定要注意Python的全局解释器锁（Global Interpreter Lock，简称GIL）机制。我们先看一个多线程的例子，通过实验来直观的说明。

机器配置：Mac-Pro, Apple M2, 10核

2.1.1、Threading

以下是一个使用threading实现多线程的例子

import threading
from datetime import datetime

def cpu_bound_task(idx):
    # 执行一个计算密集型任务
    count = 0
    for i in range(100000000):
        count += i

# 任务数
num_tasks = 1

# 创建多于CPU核心数的线程
threads = []
for i in range(num_tasks):
    thread = threading.Thread(target=cpu_bound_task, args=(i,))
    threads.append(thread)

start_time = datetime.now()

# 启动所有线程
for thread in threads:
    thread.start()

# 等待所有线程完成
for thread in threads:
    thread.join()

end_time = datetime.now()
print(f"Time: {
     (end_time-start_time).total_seconds()} seconds")