python的多进程和多线程

从Python的GIL谈谈Python多线程和多进程 Python由于有GIL机制,所以不仅支持多线程并发,还支持多进程并发。本文详细从GIL机制出发,介绍Python的多线程和多进程机制的基本原理、实践和对比。 阅读详情

python的多进程和多线程

thread、threading、process、multiprocessing 等等模块网上资料很多,不赘述了

这里主要简要说明一下自己平时能用到的进程池、线程池,使用”池“的好处是不需要自己去实现各种LOCK.

  • from multiprocessing.dummy import Pool 就可以使用多线程
  • from multiprocessing import Poo 可以使用多进程
  • python的多线程并不是网上说的那样,要看官方文档!不要人云亦云,python的GIL(Global Interpreter Lock)是cpython解释器的问题,和语言无关,任何一个CPython线程如果要执行,就必须先获取这个GIL。后果就是在CPython中,几乎是没有线程并行的,不论你开多少个线程,同一时刻只有获取GIL的那个线程能够执行。为什么要说几乎呢,这是因为提供给python的C库中,还是有解决方案的。解决方案是sleep的代码,在执行sleep之前,通过一个宏来释放GIL,然后在睡眠结束执行其他代码前又获取GIL。这样可以在很大程度上避开GIL来取得线程并行的效果。只要不是整个过程都在疯狂使用CPU,那么多线程的运行效率要超过多进程(进程的创建需要OS分配资源,建立PCB等等,开销要比线程大的多)
  • python 的其他两个分支,Jython和IronPython,却都没有GIL的问题,从而可以实现真正的线程并行(注意并行和并发的区别,别理解错了)
p=Pool(3) #启动3个进程或者线程
p=Pool()  #根据你的CPU核数设置默认值。比如电脑8核,p=Pool()和p=Pool(8)是等效的
#coding=utf-8 
import time
#如果想变成多进程,把下面的dummy去掉就好
from multiprocessing.dummy import Pool
class person:
    def setName(self,name):
        self.name=name
    def getName(self):
        print(self.name)
    def greet(self):
        time.sleep(1)
        print("hello ,i am %s"%self.name)

def examp(name):
    perso=person()
    perso.setName(name)
    perso.greet()

if __name__ == '__main__':
    aa=time.time()
    people=['tom','amy','mkie','tony','yang','jouge','bob','jany']
    #Pool默认启动的进程/线程数量是cpu的核数(准确的说是逻辑运算核心数量)
    p=Pool()                      
    for i in people:
        p.apply_async(examp, args=(i,))
    p.close()
    p.join()
    bb=time.time()
    print(bb-aa)
Spine动画在Unity里卡顿、闪烁、排序错乱?这些性能优化与渲染问题一次讲清 本文深入解析了Spine动画在Unity中常见的卡顿、闪烁和排序错乱问题,提供了全面的性能优化与渲染解决方案。从性能瓶颈诊断到材质合并、动态合批优化,再到层级错乱与Alpha闪烁的处理,帮助开发者提升动画表现和运行效率。特别针对Unity和Spine的协同工作进行了详细的技术探讨。 阅读详情

相关推荐

【GESP】C++四级考试大纲知识点梳理, (10) 文件读写和重定向

其实,由于本人也是边学、边实验、边总结,且对考纲深度和广度的把握属于个人理解。因此本文更多的不是一个教程,而是个人知识梳理,如有遗漏、疏忽,欢迎指正、交流。孩子放假,出游一周,没有更新。刚刚归来,继续学习。GESP C++四级官方考试大纲中,共有11条考点,本文针对第10条考点进行分析介绍。(10)掌握文件操作中的重定向,实现文件读写操作,了解文本文件的分类,掌握写操作、读操作、读写操作。GESP C++四级官方考试大纲中,共有11条考点,本文针对第10条考点进行分析介绍。孩子放假,出游一周,没有更新。

CoderCoding的博客 527

python 多线程 线程池的四种实现方式

@python 线程池的四种实现方式 线程简述 一个程序运行起来后,一定有一个执行代码的东西,这个东西就是线程; 一般计算(CPU)密集型任务适合多进程,IO密集型任务适合多线程; 一个进程可拥有多个并行的(concurrent)线程,当中每一个线程,共享当前进程的资源 以下是对发现的几种多线程进行的汇总整理,均已测试运行 多线程实现的四种方式分别是: multiprocessing下面有两种: from multiprocessing.dummy import Pool as ThreadPool

ye__mo的博客 1万+

Golang面试(一)莉莉丝游戏-Golang后端开发-中台部门

莉莉丝游戏-Golang后端开发-中台部门 开场白,双方自我介绍,对方介绍这个岗位情况,erlang语言,全部转向go。 聊项目,介绍IM架构以及使用Go写的服务简介 动态扩容相关问题:平常30万,现在100万,你们现在是如何应对的? 如果让你调整架构实现动态扩容,你会怎么做?回答了kafka,是一种,应该还要使用docker和k8s以及微服务框架等 如果使用kafka,你是如何确保消息有序?回答了redis,好像没回答到那个点 消息发送失败的问题,如何做到消息不丢?回答持久化存储、拉消息和ACK 发送失

xmcy001122的专栏 3900

Python多进程 -- multiprocessing

from multiprocessing.dummy import Pool lists = [i for i in range(1, 1000000001)] def func(i): print(i + 1) pool = Pool(processes=8) pool.map(func, lists) pool.close() pool.join()

lkm18377184433的博客 175

从12摄像头到纯视觉:小鹏AI鹰眼方案如何用LOFIC技术省掉激光雷达?

本文深入解析小鹏汽车AI鹰眼方案如何通过LOFIC技术实现纯视觉自动驾驶,替代传统激光雷达。LOFIC摄像头在动态范围、噪声控制和HDR优化方面表现卓越,结合800万像素双目广角摄像头,达到激光雷达级测距精度。该方案不仅降低成本,还提升系统可靠性和用户体验,展示了纯视觉路线的技术潜力与边界。

t8u9v0w1x的博客 936

实验六 有源滤波器

实验六 有源滤波器一、实验目的二、仪器及设备三、预习要求画出三个电路的幅频特性曲线。四、实验内容l.低通滤波电路2.高通滤波电路3.带阻滤波电路(1)实测电路中心频率。(2)以实测中心频率为中心,测出电路幅频特性。五、实验报告六,仿真图:图 1 低通滤波器仿真图图 2 高通滤波器仿真图图 3 带阻滤波电路仿真图 一、实验目的 1.熟悉有源滤波电路构成及其特性。 2.学会测量有源滤波电路幅频特性。 二、仪器及设备 1.示波器 2.信号发生器 三、预习要求 1.预习教材有关滤波电路

胡毛毛的博客 1万+

并发编程(二)multiprocessing.dummy.Pool

multiprocessing.dummy.Pool import time from multiprocessing.dummy import Pool def run(fn): time.sleep(2) print(fn) if __name__=="__main__": testFL=[1,2,3,4,5] # 迭代对象 pool=Pool(10) ...

我是一言 947

IntelliJ IDEA 2025.1 + Gradle 镜像配置避坑指南:解决依赖下载慢的终极方案

本文针对IntelliJ IDEA 2025.1开发环境中Gradle依赖下载缓慢的问题,提供了详细的镜像配置避坑指南。通过解析Gradle依赖解析机制,重点指导如何正确配置阿里云等国内镜像仓库,并分享验证配置生效、排查常见错误及高级优化技巧,旨在彻底解决依赖下载难题,提升开发效率。

weixin_28835551的博客 532

Python从小白到高手实现系列二百一十四:使用进程池

multiprocessing 模块最好的一点是它提供了一个即用型的Pool 类,可以处理管理。这个池实现大大减少了所需的样板数量和与双向通信相关的问题。因为每个进程都有自己独立的内存上下文。实际上,现在只有两行代码明确使用多进程。的情况,这是一个很大的改进。使用多进程而不是线程增加了一些实质性的开销。与“使用线程池”中的描述的线程方式类似,构建一个进程池,这是在依赖多进程以。正如你所看到的,代码现在要短得多。获得更好资源利用率的应用程序中控制资源使用的最佳模式。Pool 实现中创建的。

Mr_Roki的博客 380

Ubuntu22环境下Xinference与RAGFLOW集成:构建高效rerank模型服务【实战指南】

本文详细介绍了在Ubuntu22.04系统上,通过部署Xinference模型推理服务来加载bge-reranker-base等rerank模型,并将其与RAGFLOW框架集成的完整实战指南。该方案实现了模型服务的解耦与灵活管理,有效提升RAG系统的检索精度与答案相关性,并提供了从环境配置、服务启动、网络连接到性能调优及常见问题排查的全流程解决方案。

pluto的博客 502

60、新型共轴直升机建模与事件触发积分强化学习研究

本文研究了新型共轴直升机的动力学建模与控制方法,基于牛顿-欧拉方程建立了6自由度非线性模型,并设计了四通道闭环控制器实现稳定飞行。同时,提出一种事件触发积分强化学习方法,用于解决非零和博弈中的最优跟踪控制问题,在减少通信开销的同时保证系统性能。通过仿真验证了控制器的轨迹跟踪能力,并证明了算法下跟踪误差与神经网络权重估计误差的一致最终有界性。两种方法协同可提升飞行器的自主性与鲁棒性,未来可拓展至多智能体协作、智能交通等复杂系统应用。

rl6adventurer的博客 118

python multiprocessing dummy Pool 使用

本文内容: python multiprocessing.dummy Pool多线程、进程任务队列使用 http压力测试简单示例 工作中有个常用的场景,比如现在需要下载10W张图片,我们不可能写个for循环一张一张的下载吧,又或者是我们做个简单的HTTP压力测试肯定是要使用多个,进程或者线程去做(每个请求handler,会有一个参数(所有的参数生成一个队列))然后把handler和队列map到Poo

常思考->有目标->重实践->善反思 1万+

HBV模型

据说mHM模型也是基于HBV模型原理。 网上不同版本的HBV模型稍有差别 def hbv_main(n_days, params, air_temp, prec, dpem): #n_days 模拟天数 #air_temp 每月温度 #prec 降水 #dpem 每月蒸发 Tsnow_thresh = 0.0 ca = 410. # Initialize arrays for the simiulation snow = np.zeros(air_temp.size

m0_46268055的博客 2334

Python之多进程和多线程详解

1.进程的概念 一个CPU的时候运行,轮询调度实现并发执行 多CPU运行机制: 计算机程序:存储在磁盘上的可执行二进制(或其他类型)文件。 只有把它们加载到内存中,并被操作系统调用它们才会拥有其自己的生命周期。 进程:表示的一个正在执行的程序。 每个进程都拥有自己的地址空间、内存、数据栈以及其他用于跟踪执行的辅助数据 操作系统负责其上所有进程的执行,操作系统会为这些进程合理地分配执行时间。 多...

小猪的互联网江湖 2万+

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

python多进程和多线程看这一篇就够了

脑海中关于进程和线程的概念一直很模糊,什么时候该用多进程,什么时候该用多线程总是搞不清楚。同时python因为历史遗留问题存在GIL全局锁,就让人更加困惑。这一篇就完整整理一下python中进程和线程的概念和实现。 文章目录进程和线程GIL锁多进程 vs 多线程代码实现多进程进程池进程间通讯多线程线程池异步线程间通讯总结 进程和线程 进程(process)和线程(thread)的区别应该算是个老生常谈的话题。 这里引用知乎用户的一个高赞回答来深入浅出的解释一下 看了一遍排在前面的答案,类似”进程是资源分配的

T型人小付的博客 3万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

python多进程和多线程哪个好_python多进程和多线程究竟谁更快(详解)

python3.6threading和multiprocessing四核+三星250G-850-SSD自从用多进程和多线程进行编程,一致没搞懂到底谁更快。网上很多都说python多进程更快,因为GIL(全局解释器锁)。但是我在写代码的时候,测试时间却是多线程更快,所以这到底是如何回事?最近再做分词工作,原来的代码速度太慢,想提速,所以来探求一下有效方法(文末有代码和效果图)这里先来一张程序的结果图...

weixin_39843151的博客 699

Python多进程和多线程(跑满CPU)

参考资料: https://www.liaoxuefeng.com/wiki/1016959663602400/1017627212385376 Python多进程和多线程(跑满CPU) 概念 任务可以理解为进程(process),如打开一个word就是启动一个word进程。在一个word进程之中不只是进行打字输入,还需要拼写检查、打印等子任务,我们可以把进程中的这些子任务称为线程(thre...

qq_40317897的博客 5万+

Python多进程(process)和多线程(thread)的区别

一、线程与进程 1.基本概念 线程:是程序执行流的最小单元,是系统独立调度和分配CPU(独立运行)的基本单位。 进程:是资源分配的基本单位。一个进程包括多个线程。 一个应用程序至少包括1个进程,而1个进程包括1个或多个线程,线程的尺度更小。 每个进程在执行过程中拥有独立的内存单元,而一个线程的多个线程在执行过程中共享内存。 2.区别 (1)线程与资源分配无关,它属于某一个进程,并与进程内的其他线程一起共享进程的资源。 (2)每个进程都有自己一套独立的资源(数据),供其内的所有线程共享。

rs勿忘初心的博客 1万+

python多线程和多进程

多线程适合 I/O 密集型任务和轻量级任务。共享资源,通信开销低。受 GIL 限制,不适合 CPU 密集型任务。多进程适合 CPU 密集型任务和需要高隔离性的任务。独立资源,通信开销高。可以充分利用多核 CPU,不受 GIL 限制。chunksize参数是中一个重要的性能调优参数。通过合理设置chunksize,你可以减少调度开销,更好地平衡负载,从而提高多进程并行执行的效率。对于不同的任务和数据量,最佳的chunksize值可能会有所不同,因此建议通过实验来确定最优值。

KIKI3666的博客 997

python多进程和多线程谁更快

Python IO密集型任务、计算密集型任务,以及多线程、多进程 - tsw123 - 博客园 https://www.cnblogs.com/tsw123/p/9504460.html Python IO密集型任务、计算密集型任务,以及多线程、多进程选择 对于IO密集型任务: 单进程单线程直接执行用时:10.0333秒 多线程执行用时:4.0156秒 多进程执行用时:...

我是guyue,guyue就是我O(∩_∩)O 3720

python多进程和多线程一起使用_Python 多进程与多线程

前言:为什么有人说 Python 的多线程是鸡肋,不是真正意义上的多线程?看到这里,也许你会疑惑。这很正常,所以让我们带着问题来阅读本文章吧。问题:1、Python 多线程为什么耗时更长?2、为什么在 Python 里面推荐使用多进程而不是多线程?1 基础知识现在的 PC 都是多核的,使用多线程能充分利用 CPU 来提供程序的执行效率。1.1 线程线程是一个基本的 CPU 执行单元。它必须依托于进...

weixin_39665847的博客 1211

python多线程和多进程详解_python 多线程和多进程

官方文档:multiprocessing is a package that supports spawning processes using an API similar to the threading module. The multiprocessing package offers both local and remote concurrency, effectively side-...

weixin_39645306的博客 131

python之多线程和多进程

参考链接: 多线程 多进程 概要 由于python中的GIL(全局解释器锁)的存在,也就是多线程的时候,同一时间只能有一个线程在CPU上运行,而且是单个CPU上运行,不管你的CPU有多少核数。如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。 多进程 Python中的多进程是通过multiprocessing包来实现的,和多线程的threading.Thread差不多,它可以利用multiprocessing.Process对象来创建一个进程对象。这个进程对象的方法和线程对象的方

AndyJ的学习之旅 513

关于python的多线程和多进程_Python的多线程和多进程

(1)多线程的产生并不是因为发明了多核CPU甚至现在有多个CPU+多核的硬件,也不是因为多线程CPU运行效率比单线程高。单从CPU的运行效率上考虑,单任务进程及单线程效率是最高的,因为CPU没有任何进程及线程的切换开销,(2)实际上,多线程的出现主要为了解决IO设备的读写速度往往比CPU的处理速度慢造成的单线程程序运行阻塞问题,一个极端的例子就是如果你需要用户在键盘上输入一个数据,当用户没有输入前...

weixin_39738152的博客 85

python多线程和多进程_python多线程与多进程

之前一直很不理解几个问题:为什么说python多线程只是表面上的多线程?多线程是真正的并发执行吗?多进程和多线程有什么区别?今天有空,做了一个实验,算是搞懂了python中串行,多线程,多进程之间的区别。主机配置:6核cpu实验脚本:import threadingfrom time import timefrom multiprocessing import cpu_countfrom mult...

weixin_39537049的博客 90

python中多线程与多进程的区别和联系

python多线程实现 python多线程和多进程的区别 python多线程爬虫 python多线程坑 python多线程可以在windows下实现吗 python多线程并发 python多线程变量共享 python多线程是并发还是并行 python多线程实例 python多线程condition Python中多进程与多线程的区别有:线程需要在进程中执行,一个进程可包含多个线程;进程可共享同个...

大数据基础框架学习教程汇集 4342

python多线程和多进程的实现

python多线程和多进程的实现

ZMXdecode的博客 1790
上一篇: 006 栈的顺序存储
下一篇: Python高级技巧(一)
ShadowFlow
博客等级 码龄11年 31粉丝 55原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值