有关python不能并行多线程的原因

最新推荐文章于 2025-03-31 20:01:25 发布
最新推荐文章于 2025-03-31 20:01:25 发布
阅读量2.7k 收藏 1
点赞数
文章标签： python 开发语言 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_54654081/article/details/121005038
版权
本文探讨了Python全局解释器锁GIL如何限制线程并发，以及为何进程层面可以利用多核CPU。通过实例揭示了并发执行的原理，并强调了进程和线程在多CPU环境下的区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在跑python代码时我们可以开很多个线程让他们并发执行，但是这个并发只能在该进程被分配的CPU上运行也就是说只能有一个CPU在跑这个线程。这是因为python有一个全局解释器锁GIL。每个线程都要先取得这个锁才能被CPU调用运行。（叙述内容只是自己的理解，应该不准确）

如下图开了8个线程，但是显示只有一个在运行。

进程则可以分配多个CPU并行执行：

 

 

m0_54654081
关注
Python--没有真正的实现多线程--测试+探究
weixin_45592364的博客
08-22 1122
在大多数系统上，Python同时支持消息传递和基于线程的并发编程。Python代码的执行是由python解释器来控制的, 尽管Python解释器允许多线程的存在, 但是由于GIL一次只允许一个线程执行, 所以只能利用一个CPU, 同时只能有一个线程在执行.多核CPU应该同时执行多个线程, 也就是我们执行1个死循环, 应该会跑满1个CPU至100%, 执行2个死循环, 会占用200%的cpu.但是我们用Python执行会发现, 1个和2个线程都执行占用到100%CPU, 而无法达到200%CPU.
Python并行编程详解：多线程、多进程与异步IO
记录学习的过程
03-06 1543
Python提供了多种并行编程的方式，包括多线程、多进程和异步IO。GIL的存在使得Python的多线程在CPU密集型任务中无法充分利用多核CPU，但在IO密集型任务中仍然有效。进程间通信：多进程编程需要使用队列（Queue）、管道（Pipe）等机制进行进程间通信。在实际开发中，根据任务类型和需求选择合适的并行编程方式，可以显著提高程序的性能。异步编程的复杂性：异步IO编程需要理解事件循环和协程，代码复杂度较高。异步IO：适合高并发的IO密集型任务，性能优越。多进程：适合CPU密集型任务，不受GIL限制。
python多进程_python的类中无法使用多进程的可能原因
weixin_39587246的博客
11-14 2238
最近在写爬虫程序的时候使用到了多进程，但是发现无论怎样多进程都无法实现，我们先来看一个案例。在这里我们很容易能看懂代码的逻辑，在 __init__函数中我连接了redis，之后在 get_task函数中从redis获取数据，同时调用了po_task，并将获取的数据传入po_task函数,之后po_task 就是用来执行多进程的。当代码写好之后本以为能够毫无意外的实现多进程，结果代码运行之后发现根本...
Python 在企业应用中的挑战：能否满足高并发、高可用需求？
最新发布
2501_91173040的博客
03-31 518
综上所述，Python 能否满足高并发、高可用的需求取决于具体的应用场景和技术选型。对于某些轻量级任务或非关键业务模块，Python 可以轻松胜任；而对于大型分布式系统，则需要结合其他技术手段来弥补其不足。未来，随着异步编程模型的普及和硬件性能的提升，Python 在企业应用中的地位有望进一步巩固。同时，我们也期待看到更多针对 Python 的性能优化工具和框架出现，帮助开发者更加高效地应对各种挑战。无论如何，Python 的灵活性和易用性使其成为现代软件开发不可或缺的一部分。
让 Python 真正支持多线程
略懂……略懂……
05-30 3502
Python 至今都缺乏对多线程的原生支持。本文深入探讨 Python 无法引入多线程的背后机制，以及如何使用子解释器 API 编写真正并发的 Python 代码。
【python】python为何多线程无法切换
weixin_33935777的博客
10-20 224
写了一个kafka传输消息，celery发布任务的脚本。 有四个线程，分别读取不同的kafka队列信息 问题是，只有第一个线程会启动，剩下的三个线程连start都运行不了。   而且这个问题不是一开始就发生的，最开始跑代码的时候很正常。连续运行了半个月都没问题。就是后来重启后就有问题了。 后来发现，在每个线程里面加sleep后，线程会切换了。但切换极慢，无法忍受。而且正常的threading根本不...
【Medium Python】第三话：python多线程为什么不能并行？
HiKariのTechLab
10-30 3664
python的多线程，这是个老生常谈的话题了，网上资料也一大把。python默认的threading模块对多线程提供了支持，但实际多个threading.Thread实例无法并行运行（不是无法并发哦！）。 ​ 一句话概括答案：python的线程实质是操作系统原生的线程，而每个线程要执行python代码的话，需要获得对应代码解释器的锁GIL。一般我们运行python程序都只有一个解释器，这样不同线程需要获得同一个锁才能执行各自的代码，互斥了，于是代码就不能同时运行了。 ​ 好的，接下来我们细细讲解这句话背后的
python 多线程串行和并行的实例
09-19
### Python多线程串行与并行实例解析 在Python编程中，多线程是一种常见的技术，用于提高程序执行效率，特别是在处理I/O密集型任务时。本文将深入探讨一个具体的Python多线程实例，该实例展示了如何在Python中实现...
python中的线程并行
xu.hyj
05-25 613
现在有1154张图片需要顺时针旋转后保存到本地，一般使用循环1154次处理，具体代码如下所示，img_paths中存储1154个图片路径，该代码段耗时约用97ms。对于这种没有数据交换的任务，可以使用多线程。python中有很多多线程、多进程的库，这里试试线程池ThreadPoolExecutor。可以看到，15个cpu都被调用起来了。下方的代码耗时约37ms。
python 多线程并行 矩阵乘法_python实现简单的并行矩阵乘法
weixin_33923901的博客
03-01 2062
python实现简单的并行矩阵乘法python实现简单的并行矩阵乘法本文采用的矩阵乘法方式是利用一个矩阵的行和二个矩阵的列相乘时不会互相影响。假设A(m,n)表示矩阵的m行，n列。那么C(m,m)=A(m,n) * B(n,m) ：计算C矩阵时候分解成：process-1：C(1,1) = A(1,:) * B(:,1)process-2：C(1,2) = A(1,:) * B(:,2)........
Python辣鸡，Python多线程不能并行？
weixin_43414715的博客
12-13 4213
文章目录1. Python多线程的缺陷1.1 Java单线程和多线程执行倒计时函数1.2 Python单线程和多线程执行倒计时函数2. GIL2.1 什么是GIL2.2 Python为什么不舍弃GIL3. Python的多线程这么辣鸡，那还用不用？3.1 多线程3.2 多进程3.3 协程3.4 多进程 VS 多线程 VS 协程 1. Python多线程的缺陷 比如我现在要执行2个倒计时函数， 我可以选择用一个线程顺序执行这2个函数，按顺序倒计时2次； 也可以用两个线程并行这2个函数，也就是同时倒计时。 我的
python的学习（九）----多线程编程(2)
宁静以致远
01-04 6420
多线程编程(2) 目前Python的lib中对多线程编程提供两种启动方法，一种是比较基本的thread模块中start_new_thread方法，在线程中运行一个函数， 另一种是使用集成threading模块的线程对象Thread类。 目前所用到的，是旧版本中调用thread模块中的start_new_thread()函数来产生新的线程 相比而言，thread.start_new_t
python使用多线程为什么不能真正达到并行处理
liweiweili126的博客
05-24 1081
Python 的内存管理是基于引用计数的，即 Python 解释器会记录每个对象被引用的次数，当一个对象的引用计数为 0 时，解释器会将其回收。为了解决这个问题，Python 引入了 GIL 机制，保证同一时刻只有一个线程能够执行 Python 字节码，从而避免了多个线程同时对同一对象进行引用计数的问题。虽然 GIL 机制可以保证 Python 的内存管理安全，但它也带来了很大的性能问题。在多进程中，每个进程都有自己独立的解释器和内存管理机制，不会受到 GIL 的限制，因此可以实现真正的并行处理。
python重点知识整理-python 重点理论知识点
weixin_39963096的博客
11-11 250
GIL blablabla concurrent blablabla简单地说就是作为可能是仅有的支持多线程的解释型语言（perl的多线程是残疾，PHP没有多线程），Python的多线程是有compromise的，在任意时间只有一个Python解释器在解释Python bytecode。UPDATE：如评论指出，Ruby也是有thread支持的，而且至少Ruby MRI是有GIL的。如果你的代码是C...
python为什么不支持多线程_python多线程为什么不能利用多核cpu
weixin_39999190的博客
12-10 234
本文主要解决的问题：1、python多线程为什么不能利用多核CPU？2、为什么说“Python下多线程是鸡肋，推荐使用多进程！”需要了解的背景知识：1、GILGIL 的全称为Global Interpreter Lock，意即全局解释器锁。在 Python 语言的主流实现 CPython 中，GIL 是一个货真价实的全局线程锁，在解释器解释执行任何 Python 代码时，都需要先获得这把锁才行，...
PyCharm 程序不能并行运行的问题
weixin_34122810的博客
03-26 7305
0x01、 问题 2018.3之后版本的PyCharm， 如果想要同时运行同一个程序，会弹出如下图的提示：xxx is not allowed to run in parallel. would you like to stop the running instances? 0x02、 解决办法 Run -> Edit Configurations -> Allow parallel...
python进程通信太垃圾、多线程无法并发_并发篇-python并发通信
weixin_35452206的博客
12-23 209
上一篇，看到了使用多线程实现并发服务器与使用多进程实现并发服务器 python支持的并发分为多线程并发和多进程并发还有异步IO。多进程并发即运行多个独立的程序，优势在于并发处理的任务都由操作系统管理，不足之处在于程序与各进程之间的通信和数据共享不方便；多线程并发则由程序员管理并发处理的任务，这种并发方式可以方便地在线程间共享数据(前提是不能互斥)。对于计算密集型程序，多进程并发优于多线程并发。计算...
鸡肋的python 多线程
若明
09-09 257
为什么有人会说 Python 多线程是鸡肋？知乎上有人提出这样一个问题，在我们常识中，多进程、多线程都是通过并发的方式充分利用硬件资源提高程序的运行效率，怎么在 Python 中反而成了鸡肋？ 多线程是不是鸡肋，我们先做个实验，实验非常简单，就是将数字 “1亿” 递减，减到 0 程序就终止，这个任务如果我们使用单线程来执行，完成时间会是多少？使用多线程又会是多少？ 单线程 在我的4核 CPU ...
python多进程在IDLE无法执行，在命令行却可以执行
qq_47896802的博客
05-25 937
python多进程在IDLE无法执行，在命令行却可以执行python 教程中的代码如下： from multiprocessing import Process from time import sleep def run_test(name,**kwargs): print("子进程正在运行 name的值:%s"%name) print('字典kwargs:',kwargs) if __name__=='__main__': print("主进程开始执行") #创建子进
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值