GIL全局解释器锁,线程池进程池

本文介绍了Python中GIL(全局解释器锁)的作用及其实现原理,探讨了GIL如何影响多线程并发,并提供了多进程和多线程并发模型的适用场景。此外,还涉及了定时器Timer、线程queue、进程池与线程池的基本概念。

一:GIL全局解释器锁

       1, 什么是GIL(这是cpython解释器特有的)

                  GIL本质就是一把互斥锁,那既然是互斥锁,原理都是一样,都是让多个并发线程同一时间只能有一个执行。

                  即:有了GIL的存在,同一进程内的多个线程同一时刻只能只能有一个在运行,这就意味着在cpython中:一个进程下的多线程无法实现并行,意味着无法利用多核优势,但不影响并发的实现。

                   GIL可以被比喻成执行权限,同一时间下的所有线程,要想执行都需要先抢到执行权限即GIL

        2,GIL存在的意义:

                    因为cpythonjie'解释器自带的垃圾回收机制不是线程安全的

        3,用法:

                     GIL  vs  自定义的互斥锁

                            GIL相当于执行权限,会在任务无法执行的情况,被强行释放

                            自定义互斥锁即便是无法执行,也不会自动释放

         4,有两种并发解决方案:

                    多进程:计算密集型

                    多线程:IO密集型

          例子:

                  在IO密集型的场所:

                   

在IO密集型的场所:

二:定时器Timer

三:线程queue

四:进程池与线程池

          1,池的功能

                 池主要是用来限制启动进程数或者线程数

                 当并发任务数远远超过计算机的承受能力时,即无法一次性开启过多的进程数或者线程数时,就应该用池的概念,将开启的进程数或线程数限制在计算机可承受的范围内。

           2,同步或异步

                 同步或者异步指定是提交文件的两种方式

                 同步:提交完任务后,就在原地等待,直到任务运行完毕后拿到任务的返回值,在继续运行下一行代码

                 异步:提交完任务(绑定一个回调函数),根本不再原地等待,直接运行下一行代码,等任务有返回值之后会自动触发回调函数。

### 线程与进程的区别 线程和进程是操作系统中两个重要的概念,它们的主要区别如下: - **定义**:进程是系统进行资源分配的基本单位,而线程是进程中执行运算的最小单位[^3]。每个进程都有独立的地址空间,而同一进程内的多个线程共享该进程的地址空间。 - **内存开销**:由于线程共享进程的内存空间,因此创建和销毁线程的开销比进程小得多[^1]。 - **通信机制**:同一进程内的线程可以通过直接访问共享内存进行高效的通信,而不同进程之间的通信则需要通过进程间通信(IPC)机制实现,如管道、消息队列等[^3]。 - **调度方式**:线程的切换通常由操作系统内核完成,但因为线程共享内存空间,其上下文切换的开销比进程小。 ### 线程池进程池的区别 线程池进程池都是为了提高并发性能而设计的工具,但它们在具体应用和性能上存在显著差异: - **适用场景**: - 线程池更适合用于 **I/O 密集型任务**,例如文件读写、网络请求等。这是因为线程在等待 I/O 操作完成时可以释放 CPU 资源,从而让其他线程运行[^2]。 - 进程池更适合用于 **CPU 密集型任务**,例如复杂的数学计算或图像处理。这是因为 Python 的全局解释器锁GIL)限制了多线程程序无法真正并行执行 CPU 密集型任务,而多进程可以绕过 GIL 的限制,充分利用多核 CPU 的计算能力[^4]。 - **性能对比**: - 创建线程的开销小于创建进程的开销,因此线程池在任务频繁提交和完成的情况下表现更好。 - 进程池虽然创建成本高,但在处理大量计算密集型任务时,能够更高效地利用多核 CPU 的优势[^4]。 - **资源共享**: - 同一进程中的线程共享内存空间,因此在线程池中,线程可以直接访问共享数据结构,减少了数据传递的复杂性。 - 不同进程之间没有直接的内存共享,必须通过 IPC 机制进行通信,这会增加一定的性能开销[^3]。 ### 示例代码 以下是一个简单的线程池进程池的使用示例: ```python from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor import time def cpu_bound_task(n): return sum(i * i for i in range(n)) def io_bound_task(delay): time.sleep(delay) return delay # 使用线程池处理 I/O 密集型任务 with ThreadPoolExecutor() as thread_pool: results = list(thread_pool.map(io_bound_task, [1, 2, 3])) print("线程池结果:", results) # 使用进程池处理 CPU 密集型任务 with ProcessPoolExecutor() as process_pool: results = list(process_pool.map(cpu_bound_task, [1000000, 2000000, 3000000])) print("进程池结果:", results) ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值