实例讲解Python中的多线程、多进程如何应对IO密集型任务、计算密集型任务

前热火球员LeBron James

已于 2022-11-08 11:11:33 修改

阅读量2k

点赞数 5

分类专栏： python IT随笔文章标签： python 开发语言

于 2020-11-09 15:14:50 首次发布

本文链接：https://blog.youkuaiyun.com/qq_34663267/article/details/109577948

版权

python 同时被 2 个专栏收录

55 篇文章

订阅专栏

IT随笔

42 篇文章

订阅专栏

本文通过实际案例对比分析了Python中多线程与多进程在处理IO密集型任务及计算密集型任务上的表现，揭示了多线程与多进程在不同场景下的适用性和效率差异。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：多线程就是，你一边吃饭一边看电视还一边说话。而Python的多线程为了线程安全，整了个GIL(GIL：又叫全局解释器锁，每个线程在执行的过程中都需要先获取GIL，保证同一时刻只有一个线程在运行，目的是解决多线程同时竞争程序中的全局变量而出现的线程安全问题。)，在计算密集方面一次只做一件事，只有I/O密集方面才能真正实现多线程。即，你不能一边吃饭一边看电视一边说话，但是可以做到先烧水然后去洗漱，洗漱完水已经开了可以喝水了。在这里，烧水就是一种I/O密集的工作。Python中的多线程是假的多线程

在Python中，多线程常常被用于爬虫，因为HTTP请求和响应是个I/O密集的工作。而计算密集的工作往往会使用多进程来实现。

一、IO密集型任务：

import multiprocessing
import time
import threading 
# 定义全局变量Queue
g_queue = multiprocessing.Queue()
 
# 首先定义一个队列，并定义初始化队列的函数：
def init_queue():
    print("init g_queue start")
    while not g_queue.empty():
        g_queue.get()
    for _index in range(10):
        g_queue.put(_index)
    print("init g_queue end")
    return

# 定义一个IO密集型任务：利用time.sleep()，分别从队列中获取任务数据
def task_io(task_id):
    print("IOTask[%s] start" % task_id)
    while not g_queue.empty():
        time.sleep(1)
        try:
            data = g_queue.get(block=True, timeout=1)
            print("IOTask[%s] get data: %s" % (task_id, data))
        except Exception as excep:
            print("IOTask[%s] error: %s" % (task_id, str(excep)))
    print("IOTask[%s] end" % task_id)
    return
 
if __name__ == '__main__':
    print("cpu count:", multiprocessing.cpu_count(), "\n")
 
    print("========== 直接执行IO密集型任务 ==========")
    init_queue()
    time_0 = time.time()
    task_io(0)
    print("结束：", time.time() - time_0, "\n")
 
    print("========== 多线程执行IO密集型任务 ==========")
    init_queue()
    time_0 = time.time()
    thread_list = [threading.Thread(target=task_io, args=(i,)) for i in range(5)]
    for t in thread_list:
        t.start()
    for t in thread_list:
        if t.is_alive():
            t.join()
    print("结束：", time.time() - time_0, "\n")
 
    print("========== 多进程执行IO密集型任务 ==========")
    init_queue()
    time_0 = time.time()
    process_list = [multiprocessing.Process(target=task_io, args=(i,)) for i in range(multiprocessing.cpu_count())]
    for p in process_list:
        p.start()
    for p in process_list:
        if p.is_alive():
            p.join()
    print("结束：", time.time() - time_0, "\n")

打印：

[root@localhost demo01]# python3 text1109.py 
cpu count: 4 

========== 直接执行IO密集型任务 ==========
init g_queue start
init g_queue end
IOTask[0] start
IOTask[0] get data: 0
IOTask[0] get data: 1
IOTask[0] get data: 2
IOTask[0] get data: 3
IOTask[0] get data: 4
IOTask[0] get data: 5
IOTask[0] get data: 6
IOTask[0] get data: 7
IOTask[0] get data: 8
IOTask[0] get data: 9
IOTask[0] end
结束： 10.016204833984375 

========== 多线程执行IO密集型任务 ==========
init g_queue start
init g_queue end
IOTask[0] start
IOTask[0] end
IOTask[1] start
IOTask[3] start
IOTask[2] start
IOTask[4] start
IOTask[1] get data: 0
IOTask[2] get data: 1
IOTask[3] get data: 2
IOTask[4] get data: 3
IOTask[1] get data: 4
IOTask[2] get data: 5
IOTask[4] get data: 6
IOTask[3] get data: 7
IOTask[1] get data: 8
IOTask[2] get data: 9
IOTask[2] end
IOTask[3] error: 
IOTask[3] end
IOTask[4] error: 
IOTask[4] end
IOTask[1] error: 
IOTask[1] end
结束： 5.012259006500244 

========== 多进程执行IO密集型任务 ==========
init g_queue start
init g_queue end
IOTask[0] start
IOTask[1] start
IOTask[2] start
IOTask[3] start
IOTask[0] get data: 0
IOTask[1] get data: 1
IOTask[2] get data: 2
IOTask[3] get data: 3
IOTask[0] get data: 4
IOTask[1] get data: 5
IOTask[2] get data: 6
IOTask[3] get data: 7
IOTask[0] get data: 8
IOTask[1] get data: 9
IOTask[1] end
IOTask[3] error: 
IOTask[3] end
IOTask[2] error: 
IOTask[2] end
IOTask[0] error: 
IOTask[0] end
结束： 5.0164711475372314

结果说明：

对于IO密集型任务：

直接执行用时：10.016204833984375秒
多线程执行用时：5.012259006500244秒
多进程执行用时：5.0164711475372314秒

说明多线程适合IO密集型任务。

二、计算密集型任务：

import multiprocessing
import time
import threading 
# 定义全局变量Queue
g_queue = multiprocessing.Queue()
 
def init_queue():
    print("init g_queue start")
    while not g_queue.empty():
        g_queue.get()
    for _index in range(10):
        g_queue.put(_index)
    print("init g_queue end")
    return

g_search_list = list(range(10000))
# 定义一个计算密集型任务：利用一些复杂加减乘除、列表查找等
def task_cpu(task_id):
    print("CPUTask[%s] start" % task_id)
    while not g_queue.empty():
        count = 0
        for i in range(10000):
            count += pow(3*2, 3*2) if i in g_search_list else 0
        try:
            data = g_queue.get(block=True, timeout=1)
            print("CPUTask[%s] get data: %s" % (task_id, data))
        except Exception as excep:
            print("CPUTask[%s] error: %s" % (task_id, str(excep)))
    print("CPUTask[%s] end" % task_id)
    return task_id

if __name__ == '__main__':
    print("cpu count:", multiprocessing.cpu_count(), "\n")
 
    print("========== 直接执行CPU密集型任务 ==========")
    init_queue()
    time_0 = time.time()
    task_cpu(0)
    print("结束：", time.time() - time_0, "\n")
 
    print("========== 多线程执行CPU密集型任务 ==========")
    init_queue()
    time_0 = time.time()
    thread_list = [threading.Thread(target=task_cpu, args=(i,)) for i in range(5)]
    for t in thread_list:
        t.start()
    for t in thread_list:
        if t.is_alive():
            t.join()
    print("结束：", time.time() - time_0, "\n")
 
    print("========== 多进程执行cpu密集型任务 ==========")
    init_queue()
    time_0 = time.time()
    process_list = [multiprocessing.Process(target=task_cpu, args=(i,)) for i in range(multiprocessing.cpu_count())]
    for p in process_list:
        p.start()
    for p in process_list:
        if p.is_alive():
            p.join()
    print("结束：", time.time() - time_0, "\n")

打印：

[root@localhost demo01]# python3 text1109.py 
cpu count: 4 

========== 直接执行CPU密集型任务 ==========
init g_queue start
init g_queue end
CPUTask[0] start
CPUTask[0] get data: 0
CPUTask[0] get data: 1
CPUTask[0] get data: 2
CPUTask[0] get data: 3
CPUTask[0] get data: 4
CPUTask[0] get data: 5
CPUTask[0] get data: 6
CPUTask[0] get data: 7
CPUTask[0] get data: 8
CPUTask[0] get data: 9
CPUTask[0] end
结束： 5.545855522155762 

========== 多线程执行CPU密集型任务 ==========
init g_queue start
init g_queue end
CPUTask[0] start
CPUTask[1] start
CPUTask[2] start
CPUTask[4] start
CPUTask[3] start
CPUTask[0] get data: 0
CPUTask[2] get data: 1
CPUTask[1] get data: 2
CPUTask[4] get data: 3
CPUTask[3] get data: 4
CPUTask[0] get data: 5
CPUTask[2] get data: 6
CPUTask[1] get data: 7
CPUTask[3] get data: 8
CPUTask[4] get data: 9
CPUTask[4] end
CPUTask[2] error: 
CPUTask[2] end
CPUTask[1] error: 
CPUTask[1] end
CPUTask[0] error: 
CPUTask[0] end
CPUTask[3] error: 
CPUTask[3] end
结束： 9.969066858291626 

========== 多进程执行cpu密集型任务 ==========
init g_queue start
init g_queue end
CPUTask[0] start
CPUTask[1] start
CPUTask[3] start
CPUTask[2] start
CPUTask[0] get data: 0
CPUTask[1] get data: 1
CPUTask[3] get data: 2
CPUTask[2] get data: 3
CPUTask[0] get data: 4
CPUTask[1] get data: 5
CPUTask[3] get data: 6
CPUTask[2] get data: 7
CPUTask[0] get data: 8
CPUTask[1] get data: 9
CPUTask[1] end
CPUTask[3] error: 
CPUTask[3] end
CPUTask[2] error: 
CPUTask[2] end
CPUTask[0] error: 
CPUTask[0] end
结束： 3.3789467811584473