理解python GIL 全局锁

最新推荐文章于 2025-11-05 21:22:23 发布
原创 最新推荐文章于 2025-11-05 21:22:23 发布 · 5.4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #gil #全局锁

本文深入探讨了Python中的全局解释器锁机制，解释了其如何限制多线程并发执行，导致性能瓶颈。重点分析了线程切换机制，包括I/O操作和CPU密集型任务下的锁释放机制，以及这种机制如何优化多线程执行效率。通过实例和原理阐述，旨在帮助开发者理解Python多线程性能受限的原因及优化策略。

众所周知，python中有全局解释器锁，由于全局解释器锁的存在，所以在同一时间内，python解释器只能运行一个线程的代码，这大大影响了python多线程的性能。

在python，使用的都是操作系统级别的线程，因此在linux中 python使用的是pthread 在windows下也是使用的Windows的原生线程来实现。

python GIL 之所以会影响多线程等性能，是应为在多线程的情况下，只有当线程获得了一个全局锁的时候，那么该线程的代码才能运行，而全局锁只有一个，所以使用python多线程，在同一时刻也只有一个线程在运行，因此在即使在多核的情况下也只能发挥出单核的性能。

既然python在同一时刻下只能运行一个线程的代码，那线程之间是如何调度的呢？
对于有io操作的线程，当一个线程在做io操作的时候，因为io操作不需要cpu，所以，这个时候，python会释放python全局锁，这样其他需要运行的线程就会使用该锁。
对于cpu密集型的线程，比如一个线程可能一直需要使用cpu做计算，那么python中会有一个执行指令的计数器，当一个线程执行了一定数量的指令时，该线程就会停止执行并让出当前的锁，这样其他的线程就可以执行代码了。
由上面可知，至少有两种情况python会做线程切换，一是一但有IO操作时，会有线程切换，二是当一个线程连续执行了一定数量的指令时，会出现线程切换。当然此处的线程切换不一定就一定会切换到其他线程执行，因为如果当前线程 优先级比较高的话，可能在让出锁以后，又继续获得锁，并优先执行。

linux下 python使用的是 pthread 和 有一个互斥量和一个 条件变量来实现全局锁功能。

下面是参考文档的下载地址
该文档由python cookbook的作者编写，有很高的参考价值
http://download.csdn.net/detail/tuxl_c_s_d_n/8677825
Python中的全局解释器锁
兰枫
06-09 7588
Python中的全局解释器锁 文章目录Python中的全局解释器锁数据结构和GILGIL全局解释器锁 数据结构和GIL Queue 标准库queue模块，提供FIFO的Queue、LIFO的队列、优先队列。 Queue类是线程安全的，适用于多线程间安全的交换数据。内部使用了Lock和Condition。 在自定义容器类中，如果不加锁，是不可能获得准确的大小的，因为你刚读取到了一个大小，还没有...
python全局解释器锁（GIL）
PiggyRuns的博客
07-01 1285
python全局解释器锁（Global Interpreter Lock）详解，以及GIL对多线程的影响。
数据库迁移停机时间从4小时压到90分钟？揭秘金仓KReplay的核心魔法
最新发布
byte轻骑兵的技术小窝
11-05 1万+
金仓KReplay工具在数据库迁移中展现显著优势 金仓数据库推出的KReplay负载回放工具解决了传统数据库迁移面临的停机时间长、人力资源消耗大、风险预判难和验证效率低等核心问题。
Python的全局锁
你呢的博客
11-22 2118
介绍 GIL (Global Interperter Lock) 称作全局解释器锁，也可以称它为全局排他锁。GIL只在CPython中存在。比如JPython就没有这个概念。 GIL对程序的影响 在python多线程的情况下，每个线程的执行方式是这样的 获取GIL -> 执行代码,直到遇到IO操作,执行了一定的代码量(python2),执行了一定的时间(python3) -> 释放GIL 那么问题来了，GIL是全局锁，也就是一个进程中只有一个，没有拿到GIL就不允许在CPU中执行，所以Pytho
Python全局解释器锁
weixin_33705053的博客
09-10 205
　　超过十年以上，没有比解释器全局锁（GIL）让Python新手和专家更有挫折感或者更有好奇心。 Python的底层 要理解GIL的含义，我们需要从Python的基础讲起。像C++这样的语言是编译型语言，所谓编译型语言，是指程序输入到编译器，编译器再根据语言的语法进行解析，然后翻译成语言独立的中间表示，最终链接成具有高度优化的机器码的可执行程序。编译器之所以可以深层次的对代码进行...
python中对GIL的理解
qq_43654142的博客
07-17 1208
深入理解Python中的GIL（全局解释器锁) 1. GIL是什么？ 首先来看看GIL究竟是什么。我们需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC，INTEL C++，Visual C++等。Python也一样，同样一段代码可以通过CPython，PyPy，Psyco等不同的Python执行环境来执行。像其中的JPython就没有GIL。然
Python GIL 全局解释器锁 详解
weixin_46121540的博客
11-01 1104
GIL 是 Python 解释器的一种锁机制，主要用于保护对 Python 对象的访问，确保同一时刻只有一个线程在执行 Python 字节码。这一设计旨在简化内存管理和数据一致性，尤其是在多线程环境中。通过 GIL，Python 避免了许多复杂的线程同步问题。GIL 是 Python 设计中的一个重要特性，它在确保内存一致性和简化多线程编程方面发挥了积极作用。但在某些情况下，它也可能成为性能瓶颈。理解 GIL 的工作原理及其影响，能够帮助开发者更有效地利用 Python 进行多线程和并行编程。通过使用。
Python的全局锁GIL
舌尖上的蛋炒饭的博客
03-20 952
但是这个只解决了这一个问题啊，其实所有的python object都有这个问题，所以python的开发者，为了解决这个问题，决定使用全局锁GIL，这个锁，每个bytecode在运行的时候都是拿到了线程锁的，也就是没有bytecode被其他线程打断，那这种全局锁有什么好处。3、对于单线程的程序，或者没有办法多线程的程序，那全局锁的性能非常好，因为要锁是要时间的，全局锁保证了每个bytecode只要一次锁，但是如果你是那种每个object都有自己的锁的话，嗯，可想而知。3、执行两次a-=1，结果a=-1。
python GIL 全局解释器锁
weixin_49588247的博客
12-11 885
python GIL 全局解释器锁 multiprocessing库
Python的GIL（全局解释器锁）：深入理解其对多线程和多进程的影响与应对策略。
weixin_41455464的博客
09-26 1060
GIL，全称 Global Interpreter Lock，即全局解释器锁。它是 CPython 解释器中的一个互斥锁，用于保护解释器状态。它的核心作用是：在任意时刻，只允许一个线程持有 Python 解释器的控制权。这意味着，即使你的 Python 程序运行在多核 CPU 上，同一时刻也只有一个线程能够真正执行 Python 字节码。
浅谈Python中的全局锁(GIL)问题
09-19
总的来说，Python的全局锁GIL主要影响了多线程环境中的计算密集型任务，但对于I/O密集型任务，Python的多线程仍然能够提供良好的并发性能。通过理解和利用Python的`multiprocessing`模块以及C扩展，开发者可以有效地...
python——全局解释器锁（GIL）
python全栈
10-14 6710
顾名思义，就是正在运行中的程序。是操作系统中分配任务的最小基本单元；线程是进程中执行运算的最小单位，是进程中的一个实体，是被系统独立调度和分派的基本单位。线程自己不拥有系统资源；但它可与同属一个进程的其它线程共享进程所拥有的全部资源。一个线程可以创建和撤消另一个线程，同一进程中的多个线程之间可以并发执行。
Python 全局解释器锁
没枕头我咋睡觉
06-09 246
GIL：Global Interpreter Lock,意思就是全局解释器锁，这个不是python语言的特征，而是Cpython解释器里引入的一个概念，而在其他的语言编写的解释器里就没有这个GIL例如：Jython，Pypy 为什么会有gil？： 随着电脑多核cpu的出现核cpu频率的提升，为了充分利用多核处理器，进行多线程的编程方式更为普及，随之而来的困难是线...
Python中的全局解释器锁（GIL）
JOBbaba的博客
12-05 1442
原文地址：What is the Python Global Interpreter Lock (GIL) Python全局解释器锁：简单来说，就是只允许Python解释器任意时刻只能有一个线程处于运行状态 1.GIL解决了Python的什么问题？ Python使用引用计数管理内存 举个栗子 >>>import sys >>> a = [] >&gt...
Python 全局解释器锁 (Global Interpreter Lock - GIL)
CCSco4355
07-18 383
全局解释器锁 (GIL) 是CPython解释器（官方、最常用的 Python 解释器）中的一个互斥锁 (mutex)。它的核心作用是：在任意时刻，只允许一个线程执行 Python 字节码。这意味着，即使你的计算机有多个 CPU核心，一个 CPython 进程中的多个线程也无法真正地并行执行 Python 代码。它们可以并发执行（即交替执行），但不能在同一瞬间并行运行。
【Python】全局解释器锁（Global Interpreter Lock，GIL）
彬彬侠的博客
01-20 1100
GIL是CPython中的一种机制，它确保在同一时刻只有一个线程能够执行Python字节码，从而避免多线程环境下的数据竞争和内存管理问题。虽然它对于I/O密集型任务有益，但对于CPU密集型任务，它限制了Python程序的并行计算能力。在这种情况下，可以考虑使用多进程、C扩展、或者其他并行计算框架来绕过GIL的限制。
Python---全局解释器锁
风从北方来的博客
05-02 433
全局解释器锁(Global Interpreter Lock ): 在 Python 语言的主流实现 CPython 中，GIL 是一个货真价实的全局线程锁，在解释器解释执行任何 Python 代码时，都需要先获得这把锁才行，在遇到 I/O 操作时会释放这把锁。如果是纯计算的程序，没有 I/O 操作，解释器会每隔 100 次操作就释放这把锁，让别的线程有机会执行（这个次数可以通过 sys.setc...
Python全局解释器锁（GIL）
rs勿忘初心的博客
11-14 5124
目录 1.引言 2.GIL存在的背景 3.GIL主要工作原理 4.Python 线程安全问题 5.可以如何绕过 GIL？ 6.延伸阅读 1.引言 我们来看下Python 多线程另一个很重要的话题——GIL（Global Interpreter Lock，即全局解释器锁），这个概念可能大多数人听过，但是真正理解的人可能不多。 我们先从一个简单的cpu-bound 代码看起，如下： import time def CountDown(n): while n.
GIL全局解释锁
happyuu的博客
06-19 708
GIL不是Python特性GIL是Python解释器（Cpython）时引入的概念，在JPython、PyPy中没有GIL。GIL并不是Python的语言缺陷。GIL定义GIL，the Global Interpreter Lock，直译为“全局解释锁”GIL存在原因CPython在执行多线程的时候并不是线程安全的，所以为了程序的稳定性，加一把全局解释锁，能够确保任何时候都只有一个Python线程...
深入理解python的全局锁机制
07-14
### GIL的工作原理 全局解释器锁（GIL）是CPython解释器的核心线程同步机制，其本质是一个互斥锁（Mutex）。该机制强制规定：同一时刻只允许一个线程执行Python字节码。这种设计确保了引用计数的原子性操作、内存分配的安全性和垃圾回收的正确性。GIL的设计初衷是为了简化内存管理，通过单线程原子操作避免竞争，同时保证C扩展的线程安全，并减少锁的数量和复杂度[^4]。 在多线程环境中，GIL的存在意味着即使有多个CPU核心可用，Python中的多线程程序也无法实现真正的并行计算。每个线程在执行Python字节码时必须获得GIL，而其他线程则必须等待当前线程释放GIL后才能继续执行。这种情况对于I/O密集型任务影响较小，因为线程在进行I/O操作时会主动释放GIL，从而允许其他线程运行。但对于CPU密集型任务，由于线程几乎不会主动释放GIL，因此会导致严重的性能瓶颈[^1]。 ### GIL对多线程程序的影响 GIL的存在对Python的多线程性能有着深远的影响。特别是在多核处理器上，GIL限制了Python程序的并发性能。尽管可以创建多个线程来处理不同的任务，但由于GIL的存在，这些线程实际上是在同一个CPU核心上串行执行的。这使得多线程程序在CPU密集型任务中无法充分利用多核处理器的优势，从而导致性能下降[^2]。 然而，对于I/O密集型任务，GIL的影响相对较小。在这种情况下，线程会在等待I/O操作完成时主动释放GIL，从而使其他线程有机会运行。这意味着，在处理大量I/O操作的应用中，如网络服务器或文件处理程序，GIL的影响可以被有效缓解[^5]。 ### 解决方案 为了规避或减轻GIL的限制，提高Python程序的并发性能，可以采用以下几种方法： - **多进程**：使用`multiprocessing`模块创建多个进程，每个进程都有独立的GIL，从而实现真正的并行计算。 ```python from multiprocessing import Process def worker(): print('Worker process') if __name__ == '__main__': processes = [] for _ in range(5): p = Process(target=worker) processes.append(p) p.start() for p in processes: p.join() ``` - **C扩展**：编写C语言编写的扩展模块，可以在这些模块中释放GIL，从而允许其他线程同时运行。 - **异步编程**：使用`asyncio`库进行异步编程，利用事件循环和协程实现高效的并发模型。 ```python import asyncio async def worker(): print('Worker coroutine') if __name__ == '__main__': loop = asyncio.get_event_loop() tasks = [worker() for _ in range(5)] loop.run_until_complete(asyncio.gather(*tasks)) loop.close() ``` - **线程池**：使用`concurrent.futures.ThreadPoolExecutor`来管理线程池，适用于I/O密集型任务。 ```python from concurrent.futures import ThreadPoolExecutor def worker(): print('Worker thread') if __name__ == '__main__': with ThreadPoolExecutor(max_workers=5) as executor: futures = [executor.submit(worker) for _ in range(5)] ``` 通过上述方法，可以在一定程度上规避或减轻GIL的限制，提高Python程序的并发性能。然而，需要注意的是，这些方法各有优缺点，选择合适的方法取决于具体的应用场景和需求[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值