python底层GIL

最新推荐文章于 2025-01-23 10:03:25 发布
最新推荐文章于 2025-01-23 10:03:25 发布
阅读量375 收藏 2
点赞数 1
CC 4.0 BY-SA版权
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43382388/article/details/83933367
本文介绍了Python的全局解释器锁（GIL），它是CPython解释器用于管理全局资源的互斥锁。GIL的存在使得在同一时刻，只有一个线程能执行Python字节码。在IO操作或特定条件满足时，GIL会被释放。尽管GIL限制了多线程在多核CPU上的并行执行，但多线程在处理IO密集型任务时仍能提升性能。Python可以通过多进程、换解释器（如Jython）、C扩展或结合进程与协程来解决GIL带来的问题。面试题涉及到GIL的概念、影响以及多线程在爬虫中的应用和性能比较。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

GIL全局解释器锁

在这里插入图片描述

  1. 这是解释器内部的一把锁，确切一点说是CPython解释器内部的一把锁，所以要注意区分 这和我们在Python代码中使用Lock不是一个层面的概念。

GIL产生的背景 在CPython解释内部运行多个线程的时候，每个线程都需要解释器内部申请相应的全局资源，由于C语言本身比较底层造成CPython在管理所有全局资源的时候并不能应对所有线程同时的资源请求，因此为了防止资源竞争而发生错误，对所有线程申请全局资源增加了限制-全局解释器锁。

  1. 言外之意，就是全局解释器就是为了锁定整个解释器内部的全局资源，每个线程想要运行首先获取GIL，而GIL本身又是一把互斥锁，造成所有线程只能一个一个one-by-one-并发-交替的执行。

GIL什么时候释放

  • 在当前线程执行超时后会自动释放
  • 在当前线程执行阻塞操作时会自动释放
  • 当前执行完成时
    Guido的声明：http://www.artima.com/forums/flat.jsp?forum=106&thread=214235 Python之父在观点的最后部分说明 the language doesn’t require the GIL – it’s only the CPython virtual machine that has historically been unable to shed it.

GIL面试题

描述Python GIL的概念， 以及它对python多线程的影响？编写一个多线程抓取网页的程序，并阐明多线程抓取程序是否可比单线程性能有提升，并解释原因。

  1. Python语言和GIL没有半毛钱关系。仅仅是由于历史原因在Cpython虚拟机(解释器)，难以移除GIL。
  2. GIL：全局解释器锁。每个线程在执行的过程都需要先获取GIL，保证同一时刻只有一个线程可以执行代码。
  3. 线程释放GIL锁的情况：
  • 在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL
  • Python 3.x使用计时器（执行时间达到阈值后，当前线程释放GIL）或Python 2.x，tickets计数达到100.
  1. Python使用多进程是可以利用多核的CPU资源的。
  2. 多线程爬取比单线程性能有提升，因为遇到IO阻塞会自动释放GIL锁

严重问题: 既然CPython解释存在GIL是否意味每个线程在全局变量就不用加Lock互斥锁了呢？ 这是一个严重错误的想法，为什么用户操作全局数据还需要加Lock，因为GIL的释放时机我们无法控制-操作非常可能并没有完成，而不像Lock那样我们用完才释放(操作完整)。

GIL小总结

1、gil是什么: 全局解释器器锁
2. gil作用:单核的情况下实现多任务
3. gil解决方案:

1. 进程
2. 换解释器器(javapython)
3. 线程这块代码使⽤用c,java去实现
4. 进程加协程提⾼高效率

大鹏远飞
关注
Python全局解释器锁GIL与多线程
qq_40985985的博客
06-20 688
Python中如果是 I/O密集型的操作，用多线程（协程Asyncio、线程Threading），如果I/O操作很慢，需要很多任务/线程协同操作，用Asyncio，如果需要有限数量的任务/线程，那么使用多线程。 如果是CPU密集型操作，用多进程（multeprocessing）。 一、GIL GIL（Global Interpreter Lock，即全局解释器锁），Python实质上并不存在真正的多线程，只有一个主线程在调度，由于GIL采用轮流运行线程的机制，GIL需要在线程之间不断轮流进行切换，线程如果较
【Python练习】026. 什么是 Python 的 GIL（全局解释器锁）？
视睿
07-04 631
Python GIL（全局解释器锁）概述 GIL是CPython解释器中的线程同步机制，确保任何时候只有一个线程执行Python字节码。它的主要作用是简化内存管理和避免多线程竞争问题。 关键影响： CPU密集型任务：多线程无法充分利用多核CPU I/O密集型任务：影响较小，因I/O操作会释放GIL 性能限制：纯Python多线程程序可能比单线程更慢 解决方案： 使用multiprocessing模块替代多线程 通过C扩展（如NumPy、Cython）绕过GIL 考虑其他Python实现（如Jython、Py
由Python历史「解密」Python底层逻辑
图灵教育
06-24 2349
一次纯粹的hacking Python的作者，Guido von Rossum，荷兰人。1982年，Guido从阿姆斯特丹大学获得了数学和计算机硕士学位。尽管，他算得上是一位数学家，但他更加享受计算机带来的乐趣，热衷于做任何和编程相关的活儿。 80年代，掀起了个人电脑浪潮，但受限于个人电脑配置低，所有的编译器的核心是做优化，以便让程序能够运行。在那个时代，程序员恨不得用手榨取计算机每一寸的能力。有...
python是什么语言-python底层是什么语言
q6q6q的专栏
10-28 755
Python的创始人为Guido van Rossum。1989年圣诞节期间，在阿萨姆特丹，Guido为了打发圣诞节的无趣，决心开发一个新的脚本解释程序，作为ABC 语言的一种继承。之所以选中Python（大蟒蛇的意思）作为该编程语言的名字，是因为他是一个叫Monty Python的喜剧团体的爱好者。大多数高级语言都是在C语言的基础上开发的，比如Python、Java、C#......等等；C v...
Python的底层逻辑：从解释型语言到内存管理
2501_90356529的博客
01-19 959
Python的底层逻辑虽然比许多编译型语言更加复杂，但它的简洁性和强大的功能使得开发者能够更加高效地进行开发。从源代码到字节码的编译、从内存管理到对象模型的构建，Python的底层实现提供了丰富的功能来支持高效的开发和运行。了解这些底层机制，可以帮助开发者更好地优化程序的性能、减少内存开销并编写出更加高效和可维护的代码。
python的底层_python的底层
weixin_39773158的博客
11-24 451
广告关闭腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！通过 setup 手动安装：python setup.py installsdk 配置要使用归档存储的 api 服务，首先需要获取到：appid、secretid，secretkey，获取地址# 要使用cas的api，首先需要初始化一个cas的client对象，其中包含客户端访问ca...
从底层理解Python的执行
Daemon的专栏
05-29 4470
摘要：是否想在Python解释器的内部晃悠一圈？是不是想实现一个Python代码执行的追踪器？没有基础？不要怕，这篇文章让你初窥Python底层的奥妙。 【编者按】下面博文将带你创建一个字节码级别的追踪API以追踪Python的一些内部机制，比如类似YIELDVALUE、YIELDFROM操作码的实现，推式构造列表(List Comprehensions)、生成器表达式(generator
从Python的GIL谈谈Python多线程和多进程
weixin_43837507的博客
01-23 1049
Python由于有GIL机制，所以不仅支持多线程并发，还支持多进程并发。本文详细从GIL机制出发，介绍Python的多线程和多进程机制的基本原理、实践和对比。
【Python编程】C扩展编程的冷知识盲区：底层API、GIL管理及内存处理技巧详解
最新发布
07-21
文档详细介绍了Python对象的底层表示、GIL的正确处理方式、引用计数与内存管理、数据类型转换的规则以及高性能扩展的实现技巧。特别强调了GIL的获取与释放、引用计数的加减法则、自定义类型的内存释放、基本类型的...
Python学习：Python GIL（全局解释器锁）
小朱小朱绝不认输的博客
09-18 899
在Python学习：Python并发编程之Futures中解释为什么多线程每次只能有一个线程执行？是由于GIL(全局解释器锁）的存在，导致无论你启多少个线程，你有多少个cpu, Python在执行的时候会淡定的在同一时刻只允许一个线程运行。 通过例子发现了多线程比单线程没什么效率提高，甚至有时候效率更差，多核比单核也没有提高。难道Python的线程是假线程？ Python 的线程，的的确确封装了底层的操作系统线程，在 Linux 系统里是 Pthread（全称为 POSIX Thread），而在 Windo
python底层代码Cpython
10-21
python底层代码由C语言编写，这是Cpython即python底层代码，从github上下载来的，希望大家一起学习进步。
python 底层_python底层机制
weixin_39625987的博客
11-24 335
广告关闭腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！我们知道，一个 try 块也可以对应多个 except 块，一个 except 块可以同时处理多种异常。 如果我们想使用一个 except 块处理所有异常，就可以这样写：try: #... except exception: #... 这种情况下，对于 try 块中可能出现的任何异常...
python底层原理讲解_python底层原理
weixin_42316079的博客
02-10 6190
有同学问到了一个问题，python中存储变量是通过内存地址来存储，那么python又是如何去判断内存中的地址是什么数据类型的呢。经过查找，找到这篇文章：原博客地址：http://www.cnblogs.com/aashui/p/9871009.html1.Python是如何进行内存管理的？答:从三个方面来说,一对象的引用计数机制,二垃圾回收机制,三内存池机制一、对象的引用计数机制Python内部使...
Python 底层原理
TorchCqs的博客
09-04 3924
1. 心得体会 最近在学习一些 python 底层原理的干货知识，从 python 底层的 C 代码真的是了解到了很多东西。让我明白了 python 是如何处理各种变量类型的，也明白了 python 是如何管理变量的。在这个过程中我也在学习过程中想通了以前遇到的一些当时认为很奇葩的现象，如 del 掉一个变量后新建一个变量偶尔会发现新建的变量和 del 的变量的地址是一样的，这本质上还是对 python 原理不清楚所导致的。 另外，我在学习中也参考了大佬的文章，感兴趣的可...
浅析 Python 的一些底层原理与 CPython
叶庭云 成为自己的光
03-15 2641
浅析 Python 的一些底层原理与 CPython
python核心底层_Python字典的核心底层原理讲解
weixin_30446393的博客
02-21 163
字典对象的核心是散列表。散列表是一个稀疏数组(总是有空白元素的数组)，数组的每个单元叫做 bucket。每个 bucket 有两部分：一个是键对象的引用，一个是值对象的引用。所有 bucket 结构和大小一致，我们可以通过偏移量来读取指定 bucket。下面通过存储与获取数据的过程介绍字典的底层原理。存储数据的过程例如，我们将‘name' = ‘张三' 这个键值对存储到字典map中，假设数组长度为...
python基础底层知识
weixin_72059344的博客
07-09 661
钩子函数（Hook Function）是一种在特定事件发生时被调用的函数，用于允许开发者插入自己的代码以改变或增强程序的行为。鸭子类型是一种动态类型语言的编程风格，在这种风格中，一个对象的适用性不是基于其继承层次结构（类别），而是基于它是否具有所需的方法和属性。封装（Encapsulation）是面向对象编程中的一种重要概念，它指的是将数据和操作数据的方法捆绑在一起，形成一个独立的实体。多态（Polymorphism）是面向对象编程中的一个重要概念，它指的是同一种操作可以在不同的对象上产生不同的行为。
python核心底层_Python字典的核心和基本原理,底层
weixin_42299257的博客
02-21 166
字典核心底层原理(是很重要的)一.存储键值对过程字典对象的核心是散列表，散列表是一个稀疏数组(总是有空不元素的数组)，数组的每一个单元叫做bucket(或叫桶.表元)，每一个bucket有两部分，一个是键对象的引用，一个是值对象的引用，由于，所有bucket结构和大小一致，可以通过偏移量来读取指定bucket。将一个键值对放在字典的底层过程：>>>a={}>>>...
python 底层原理_Python封装底层实现原理详解（通俗易懂）
weixin_39574140的博客
11-21 684
事实上，Python 封装特性的实现纯属“投机取巧”，之所以类对象无法直接调用以双下划线开头命名的类属性和类方法，是因为其底层实现时，Python 偷偷改变了它们的名称。前面章节中，我们定义了一个 CLanguage 类，定义如下：class CLanguage :def setname(self, name):if len(name) < 3:raise ValueError('名称长度必须大于...
Python去掉GIL 多线程
10-22
Python中的全局解释器锁（GIL）是为了保护Python字节码的解释器核心同时执行，防止多个线程并发修改数据结构而引入的。这意味着，在任何时候，只有一个线程能够执行Python字节码，即使是在多核处理器上也是如此。因此，尽管Python支持多线程，但它并不适用于那些依赖大量CPU计算的任务（即CPU密集型），因为在这种情况下，线程切换频繁，CPU的实际利用率并没有提高。 如果你想要在Python中实现多线程，并且期望充分利用多核CPU，你需要关注以下几个方面： 1. **I/O密集型任务**：Python的`threading`库可以处理I/O密集型任务，因为在等待I/O响应时，GIL会被释放，其他线程可以执行。 2. **多进程**：Python的`multiprocessing`模块提供了一个无GIL的环境，因为它会启动新的进程，而不是共享相同的解释器实例，所以理论上可以实现真正的并行计算。 3. **使用多线程池**：如`concurrent.futures.ThreadPoolExecutor`，它可以帮助管理线程池，将任务分发给各个线程，让它们在等待I/O操作时保持忙碌。 4. **利用第三方库**：有些第三方库，如Celery或multiprocessing.dummy，虽然底层还是基于线程，但由于其工作原理，可能能在某些场景下减轻GIL的影响。 需要注意的是，虽然以上措施可以在某种程度上提升性能，但要完全绕开GIL所带来的限制，可能需要采用更底层的技术，例如Cython扩展或使用Numba进行加速。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值