Python进阶:深入GIL(上篇)

python进阶教程13:多线程、GIL、锁和线程隔离 本文介绍了Python多线程的基础概念与实践方法。首先解释了GIL全局锁的限制,指出Python多线程在IO密集型任务中的实用价值。详细讲解了线程ID获取、线程启动方法(直接调用和继承Thread类)、参数传递、后台线程设置和使用join等待线程结束。重点分析了threading.local的线程隔离特性,说明其通过线程ID区分存储不同数据。最后通过实例揭示了多线程并发写操作不安全的原因:由于变量读写操作的三个步骤(读取到寄存器、寄存器计算、写回内存)可能被其他线程中断,导致最终结果不一致。文章提供了多线程 阅读详情

Python进阶:深入GIL(上篇)

HackPython致力于有趣有价值的编程教学

简介

熟悉Python的人理应都听过GIL(Global Interpreter Lock,全局解释器锁)?,大概也知道它就是造成Python多线程并发其实是「伪并行」的核心原因,但依旧很多人没有深入其中,所以HackPython尝试以上、下两篇文章来阐释GIL,分别从其表现现象、对应源码以及Python对GIL改进等方面进行讨论?。

线程与进程

在讨论GIL前,先通过简单的文字描述一下线程与进程并理解其中的关系。

当我们启动一个程序时,系统中就至少启动了一个对应的进程,即一个程序至少对应一个进程?。所谓程序,它其实是一种静态的资源实体,就是一堆代码,存在于硬盘中,本身没有任何运行的含义,而进程是动态的,它是程序操作某个数据集时的动态实体,存在于内存中?。

一个进程可以包含多个线程,这些线程可以共享当前进程中的内存空间?,这种特性就出现了线程不安全的概念,即多个线程同时使用了一个空间,导致程序逻辑错误?,常见的方式就是使用锁或信号量等机制来限制公共资源的使用?。

Python多线程的伪并行

Python中可以使用「threading」模块来创建并使用多线程,为了直观比较,先试一下一个没有使用多线程的代码?,如下:

import time

def add(n):
    sum = 0
    while sum <= n:
        sum += 1
    print(f'sum:{sum}')

if __name__ == '__main__':
    start = time.time()
    add(500000000)
    print('run time: %s'%str(time.time() - start))

代码非常简单,就是一个add()方法一直做累加操作,运行结果为?:

python 5.py
sum:500000001
run time: 23.80576515197754

那我使用多线程效果会不会好一些呢?凭感觉直观而言,应该是会的?,因为上面的程序只使用了一个线程,那我开两个线程,让其同时工作,其运行时间应该短一半才对?,但事实时使用多线程后,运行时间依旧没有变动?,多线程版本的代码如下:

import threading, time

def add(n):
    sum = 0
    while sum <= n:
        sum += 1
    print(f'sum:{sum}')

if __name__ == '__main__':
    start = time.time()
    n = 500000000
    t1 = threading.Thread(target=add, args=[n//2])
    t2 = threading.Thread(target=add, args=[n//2])
    t1.start()
    t2.start()
    t1.join()
    t2.join()
    print('run time: %s'%str(time.time() - start))

为了让相加的数量相近,这里每个线程只需要执行「n//2」次,使用join的目的是得等线程运行完后,再执行后续的逻辑,这里只是为了方便记录运行时间?。运行结果如下:

python 6.py
sum:250000001
sum:250000001
run time: 23.04693603515625

发现跟一开始单线程的程序在运行时间上没有什么差异,而造成这种现象的原因就是GIL?,需要注意的是,GIL只存在于通过C语言实现的Python解释器上,即CPython上?,后人为了绕过GIL的问题利用Java开发了Jpython或使用Python自己开发了自己的解释器PyPy,这些上都不存在GIL全局解释器锁的问题?,但CPython才是当前最多人使用的主流Python解释器?。

在CPython中,每一个Python线程执行前都需要去获得GIL锁?,获得该锁的线程才可以执行,没有获得的只能等待?,当具有GIL锁的线程运行完成后,其他等待的线程就会去争夺GIL锁,这就造成了,在Python中使用多线程,但同一时刻下依旧只有一个线程在运行?,所以Python多线程其实并不是「并行」的,而是「并发」?。

看到下图,图中是Python中GIL的工作实例,其中有3个线程,线程与线程之间是顺序执行的?,每个线程开始执行时都会去获得GIL,防止其他线程线程运行?,每执行完一段时间后,就会释放GIL,让别的线程可以去争夺执行权限,如果自己本身也没有执行完,则本身也会参与这次争夺?。

可以发现,Python中的线程工作一段时间后,会主动释放GIL,这是为了让其他线程都有机会执行?,而释放的时机就涉及到了「检查间隔」(check interval)机制?,在早期版本的Python中,检查机制是100ticks,而Python3后,每15毫米使用一次检查间隔,然后就会释放GIL锁?。

但需要注意的是线程有了GIL后并不意味着使用Python多线程时不需要考虑线程安全?,「GIL的存在是为了方便使用C语言编写CPython解释器的编写者,而顶层使用Python时依旧要考虑线程安全」?,在下一篇中会从原始编码层面来解释存在GIL后,依旧会有线程不安全现象的原因。

多进程实现并行

GIL的存在让Python多线程在运行CPU密集型性程序时显得非常无力,为了绕过GIL的限制,一种简单的方法就是使用多进程?,这是因为GIL只会存在于线程级别,即一个进程为了确保某一时刻下只有一个线程在运行,才使用GIL?,但多个进程之间并不会出现这种限制,不同的进程会运行在CPU不同的核上,实现真正的「并行」?。

通过进程的方式将上面的任务再执行一遍,看一下运行时长,具体代码如下:

from multiprocessing import Process
import time

def add(procname, n):
    sum = 0
    while sum <= n:
        sum += 1
    print(f'process name: {procname}')
    print(f'sum: {sum}')

if __name__ == '__main__':
    start = time.time()
    n = 500000000
    p1 = Process(target=add, args=('Proc-1',n//2))
    p2 = Process(target=add, args=('Proc-2',n//2))
    p1.start()
    p2.start()
    p1.join()
    p2.join()
    print('run time: %s'%str(time.time() - start))

Python中多进程可以使用 multiprocessing 这个库,使用方法与使用线程类似?,代码中启用了两个进程,分别运行 n//2 数据量的数据,其结果如下:

python 7.py
process name: Proc-1
sum: 250000001
process name: Proc-2
sum: 250000001
run time: 12.768253087997437

从结果可以看出,时间确实减少了一半左右,多进程状态下确实是真正的「并行」。

如何绕过GIL?

有了多进程后,大部分程序都可以通过多进程的方式绕过GIL?,但如果依旧不满足,就需要使用C/C++来实现这部分代码,并生成对应的so或dll文件,再通过Python的ctypes将其调用起来?,Python中很多对计算性能有较高要求的库都采用了这种方式,如Numpy、Pandas等等?。

如果你对程序的性能要求的特别严格,此时更好的方法是选择其他语言?。

结尾

本节简单的讨论了Python中GIL相关的内容,在下一篇中会从代码层面再次深入的讨论GIL的相关内容,欢迎学习 HackPython 的教学课程并感觉您的阅读与支持。

??

参考文章:

David Beazley 的Understanding the Python GIL

瑞萨RH850/U2A8以太网模块mcal说明 如下所有功能的支持需要在达芬奇中开启EthGlobalTimeSupport。秒[32bit], 纳秒[32bit], 纳秒小数[20bit]每一帧发送数据的相关结构缓冲区都放在变量。每一帧接收数据的相关结构缓冲区都放在变量。 阅读详情

相关推荐

Diffusion:如何从噪声中生成清晰图像

扩散模型是当前AI图像生成领域的核心基础,如Stable Diffusion、DALL·E等热门模型均采用该技术。其原理分为训练和推理两个阶段:训练时通过逐步加噪图片,让AI学习如何去除噪声;推理时则从随机噪声出发,结合文本提示逐步去噪生成清晰图像。模型架构通常包含文本编码器、生成模型(如U-Net)和解码器三部分,通过多轮迭代将低维潜在空间表示转化为最终图像。这种技术模拟了艺术家从混沌中雕琢作品的过程,实现了从随机噪声到目标图像的智能生成。

laumy的学习笔记 1278

Python中的GIL(全局解释器锁)详解

能执行Python字节码。其核心目的是简化内存管理(如引用计数)并避免多线程环境下的数据竞争和内存错误。

m0_65482549的博客 2060

在线绘制富集分析多组气泡图和单细胞分析marker基因矩阵气泡图

常规的GO或者KEGG通路富集分析结果通常以气泡图的形式展示,然而这个气泡图仅仅是一个比较的结果,如果想在一张图上展示多个比较的结果,就需要用到多组气泡图(图1,左侧)。 单细胞RNA-seq分析结果中,矩阵形式的气泡图可以很好地展示marker基因(X轴)在不同cluster(Y轴)中的表达情况(图1,右侧)。

微生信 3668

python GLI锁机制

什么是GLI? Python中的线程是操作系统的原生线程,Python虚拟机使用一个全局解释器锁(Global Interpreter Lock)来互斥线程对Python虚拟机的使用。为了支持多线程机制,一个基本的要求就是需要实现不同线程对共享资源访问的互斥,所以引入了GIL。由于GLI的存在,一个线程拥有了解释器的访问权之后,其他的所有线程都必须等待它释放解释器的访问权,即使这些线程的下一条指...

weixin_30821731的博客 346

金蝶个版本下载地址,记得保存收藏。

专业版 V10.0 http://downloads.cmcloud.cn/kis/kis_pro/10.0/kiszybV10sp1.rar V11.0 http://downloads.cmcloud.cn/kis/kis_pro/11.0/KISV11Setup.rar V12.0 http://dow...

饺子的博客 2518

【微服务】SpringBoot 整合Kafka 项目实战操作详解

SpringBoot 整合Kafka 实战操作详解

congge 5575

python可以启动多少线程_今天来讲讲python(GLI)

什么是GLI?Python中的线程是操作系统的原生线程,Python虚拟机使用一个全局解释器锁(Global Interpreter Lock)来互斥线程对Python虚拟机的使用。为了支持多线程机制,一个基本的要求就是需要实现不同线程对共享资源访问的互斥,所以引入了GIL。由于GLI的存在,一个线程拥有了解释器的访问权之后,其他的所有线程都必须等待它释放解释器的访问权,即使这些线程的下一条指令并...

weixin_39672443的博客 393

进阶06:C#连接TwinCAT 3使用ADS通讯

本文介绍了使用C#通过ADS协议与倍福TwinCAT3 PLC通讯的实现方法。主要内容包括:1)在两台电脑上安装TwinCAT3开发环境并建立网络连接;2)在TwinCAT中定义变量和结构体;3)使用C# Winform开发界面,通过TwinCAT.Ads.dll实现读写功能;4)实现主动读取和通知两种数据获取方式。详细说明了连接建立、变量定义、读写操作及事件通知的实现代码。该方案实现了对PLC寄存器数据的实时监控和操作,为工业控制系统的开发提供了参考。

weixin_38637405的博客 3691

[转载] Python的GIL是什么鬼,多线程性能究竟如何

原文:http://cenalulu.github.io/python/gil-in-python/ GIL是什么 首先需要明确的一点是GIL并不是Python的特性,它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言(语法)标准,但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC,INTEL C++,Visual C++等...

weixin_30410999的博客 1210

新手必看!手把手教你如何在飞牛NAS上玩转Docker容器!(飞牛Nas(fnOS)如何创建Docke容器以及Compose部署项目)

新手必看!手把手教你如何在飞牛NAS上玩转Docker容器!(飞牛Nas(fnOS)如何创建Docke容器以及Compose部署项目)

XiaoqiangClub的博客 1万+

【AI智能体】Dify 搭建个人专属简历美化助手操作详解

Dify 搭建个人专属简历诊断助手实战操作详解

congge 4385

分析运行中的 Python 程序

分析运行中的 Python 程序 背景 线上环境莫名其妙卡死 工具 py-spy 是一款开源的 Python 程序的抽样分析工具,使用 py-spy 可以很直观的查看 Python 程序的进程堆栈以及不同方法的耗时等,整个监控方式不需要对正在运行的程序做任何处理,即你不要修改程序代码也不需要重启程序。 py-spy 使用 Rust 语言开发,Rust 语言是一门号称 C/C++ 的运行速度、类 JavaScript 写法的语言,简单而言,就是开发效率高运行效率也高。py-spy 基于 Rust 语言提供的

no_name_left的博客 375

一键生成Microsoft Store应用直链下载:绕过商店故障的终极方案

遇到商店无法加载时,复制链接 → 粘贴到Adguard → 下载主程序包 → 开启开发者模式安装。整个过程耗时不超过2分钟,彻底摆脱商店依赖!

安德洛夫 2199

Python 进阶:深入 GIL (上篇)

HackPython 致力于有趣有价值的编程教学简介熟悉 Python 的人理应都听过 GIL (Global Interpreter Lock,全局解...

weixin_30230009的博客 174

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Python 进阶:深入 GIL (下篇)

HackPython 致力于有趣有价值的编程教学简介有朋友吐槽,文章中太多表情,其实我加表情的初衷是避免大家阅读疲劳,既然造成了反效果,后面的内容就不会...

weixin_30230009的博客 410

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

python 3.9 gil_Python进阶:深入GIL(下篇)

Python进阶:深入GIL(下篇)HackPython致力于有趣有价值的编程教学简介有朋友吐槽,文章中太多表情,其实我加表情的初衷是避免大家阅读疲劳,既然造成了反效果,后面的内容就不会在添加表情了。在上一篇GIL的文章中,感性的了解了GIL,本篇文章尝试从源码层面来简单解析一下GIL,这里使用cpython 3.7版本的源码(其实这块没有太大的改变,所以你看3.5、3.6的Python源码都可以...

weixin_39974557的博客 334

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

python 多线程并行_Python进阶:深入GIL(上篇)

Python进阶:深入GIL(上篇)HackPython致力于有趣有价值的编程教学简介熟悉Python的人理应都听过GIL(Global Interpreter Lock,全局解释器锁) ,大概也知道它就是造成Python多线程并发其实是「伪并行」的核心原因,但依旧很多人没有深入其中,所以HackPython尝试以上、下两篇文章来阐释GIL,分别从其表现现象、对应源码以及Python对GIL改进等...

weixin_39585795的博客 201

python hack_Python进阶:深入GIL(上篇)

Python进阶:深入GIL(上篇)HackPython致力于有趣有价值的编程教学简介熟悉Python的人理应都听过GIL(Global Interpreter Lock,全局解释器锁) ,大概也知道它就是造成Python多线程并发其实是「伪并行」的核心原因,但依旧很多人没有深入其中,所以HackPython尝试以上、下两篇文章来阐释GIL,分别从其表现现象、对应源码以及Python对GIL改进等...

weixin_39908985的博客 81

Python 进阶:GIL 和 垃圾回收机制 深度剖析

Python进阶:GIL与垃圾回收机制 GIL(全局解释器锁) 现象:CPU密集型任务多线程可能更慢,因GIL限制“伪并行”。 原因:保护引用计数内存管理,适配非线程安全的C库。 机制:线程执行时锁定GIL,强制释放切换,不保障应用层线程安全。 解决方案:换解释器或用C/C++扩展。 垃圾回收机制 引用计数:对象引用为0时回收,但循环引用会导致泄漏。 循环引用处理:标记-清除算法识别垃圾,分代收集提升效率。 调试工具:objgraph可视化引用关系,辅助排查内存问题。 核心结论:GIL是CPython多线程

Balance 840

Python进阶:为什么GIL让多线程变得如此鸡肋?

阅读本文大约需要 9 分钟。做 Python 开发时,想必你肯定听过 GIL,它经常被 Python 程序员吐槽,说 Python 的多线程非常鸡肋,因为 GIL 的存在,Python 无法利用多线程提高性能。但事实真的如此吗?这篇文章,我们就来看一下 Python 的 GIL 到底是什么?以及它的存在,到底对我们的程序有哪些影响。GIL是什么?查阅官方文档,GIL 全称 Global Interpreter Lock,即全局解释器锁,它的官方解释如下:In CPython, the global inte

Python学习与数据挖掘 1001

python 多线程伪_Python进阶:深入GIL(上篇)

Python进阶:深入GIL(上篇)HackPython致力于有趣有价值的编程教学简介熟悉Python的人理应都听过GIL(Global Interpreter Lock,全局解释器锁) ,大概也知道它就是造成Python多线程并发其实是「伪并行」的核心原因,但依旧很多人没有深入其中,所以HackPython尝试以上、下两篇文章来阐释GIL,分别从其表现现象、对应源码以及Python对GIL改进等...

weixin_33994072的博客 127

cond. no python 计算_Python进阶:深入GIL(下篇)

Python进阶:深入GIL(下篇)HackPython致力于有趣有价值的编程教学简介有朋友吐槽,文章中太多表情,其实我加表情的初衷是避免大家阅读疲劳,既然造成了反效果,后面的内容就不会在添加表情了。在上一篇GIL的文章中,感性的了解了GIL,本篇文章尝试从源码层面来简单解析一下GIL,这里使用cpython 3.7版本的源码(其实这块没有太大的改变,所以你看3.5、3.6的Python源码都可以...

weixin_42098830的博客 281

Python进阶:GIL(全局解释器锁)

一个不解之谜   一段代码 def CountDown(n): while n > 0: n -= 1 # CountDown(100000000) #==8秒 from threading import Thread n = 100000000 t1 = Thread(target=CountDown, args=[n // 2...

weixin_30629653的博客 147

《Python实战进阶》 No46:CPython的GIL与多线程优化

全局解释器锁(GIL)是CPython的核心机制,它保证了线程安全却限制了多核性能。本节通过**concurrent.futures**、**C扩展优化**和**多进程架构**,实战演示如何突破GIL限制,特别针对AI模型推理加速场景,提供可直接复用的性能优化方案。

yweng18的博客 835

Python面试进阶:从GIL、内存管理到元编程的硬核实战解析

在Python开发中,深入理解语言核心机制是构建高性能、可维护应用的基础。从内存管理原理出发,Python通过引用计数与分代垃圾回收机制自动管理对象生命周期,但开发者仍需警惕循环引用导致的内存泄漏风险。并发编程方面,全局解释器锁(GIL)是CPython的核心设计,它使得多线程在CPU密集型任务中无法并行,但在I/O密集型场景下,结合异步编程与多进程模型仍能有效提升吞吐量。元编程作为Python的动态特性代表,通过描述符、装饰器等机制,实现了对属性访问和函数行为的精细控制,是框架设计的基石。本文聚焦Pyth

weixin_34396902的博客 664

【Python 进阶之路】第8讲 | Python 内部机制:GIL、内存管理与元类编程

兄弟们,在之前的课程里,我们学会了怎么写 Python 代码,怎么优化性能,怎么做并发。但你有没有想过这些问题:这些问题,都涉及到 Python 的内部机制。理解这些机制,不仅能帮你写出更好的代码,还能让你在面试中脱颖而出。这一讲,咱们深入 Python 内部,揭开它的神秘面纱。环境声明:GIL(Global Interpreter Lock,全局解释器锁)是 Python 解释器(CPython)中的一把互斥锁,它确保同一时刻只有一个线程在执行 Python 字节码。为什么要有 GIL?Python 的内

帅哥 704
上一篇: Python进阶:浅拷贝与深拷贝
下一篇: Python进阶:使用ctypes将Python运行速度提升30倍
二两hackpython
博客等级 码龄9年 13粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值