Python中的GIL锁与解决办法

最新推荐文章于 2024-06-30 20:02:45 发布

原创最新推荐文章于 2024-06-30 20:02:45 发布 · 1.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python

python语法专栏收录该内容

12 篇文章

订阅专栏

探讨Python中GIL锁的概念，分析其如何限制多线程在计算密集型任务中的效率，以及如何通过多进程、更换解释器或使用C语言编写的函数来绕过GIL，充分利用多核CPU资源。

GIL锁：全局解释器锁。每个线程在执行的过程中都需要先获取GIL，保证同一时刻只有一个线程可以执行代码。

现象：开启多线程无法真正利用多核CPU，如两个线程死循环，两核CPU各为50%利用率。而两个进程死循环，两核CPU利用率都为100%。此时在计算密集型操作时，多线程如同单线程。但在IO密集型操作时，多线程可以利用IO等待时间。

python使用多进程可以利用多核的CPU资源，多线程却无法利用多核的CPU资源。

原因：由于历史原因在Cpython虚拟机（解释器）难以移除GIL。

解决办法：

换解释器，避免用c语言写的解释器。
用其他语言替代线程中所做的事。

用c语言写线程中的函数：

void DeadLoop()
{
    while(1)
    {
	;
    }
}

把c语言文件编译成一个动态库的命令（Linux平台）：

gcc xxx.c -shared -o libxxx.so

在python中加载动态库并让子线程执行c语言编写的函数

from ctypes import *
from threading import Thread

# 加载动态库
lib = cdll.LoadLibrary("./libdead_loop.so")

# 创建一个子线程，让其执行c语言编写的函数，此函数是一个循环
t = Thread(target=lib.DeadLoop)
t.start()

# 主线程
while True:
    pass