python多进程中传递变量

最新推荐文章于 2024-10-28 08:20:50 发布
原创 最新推荐文章于 2024-10-28 08:20:50 发布 · 4.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文探讨了在Python多进程中对象拷贝的问题，指出多进程间传递的是对象的深拷贝而非浅拷贝，这对于理解多进程编程尤为重要。文章通过实际案例——使用openpyxl进行Excel文件的异步写入——解释了为何多进程不一定能提高此类任务的效率。

一句话，多进程传递的不是内存中的地址（浅拷贝），而是特码的整个对象（深拷贝），如果想操作同一对象还是使用队列或者其他的多进程共享变量的方法吧

遇到这个问题是对excel文件使用openpyxl写入的时候，希望能实现异步写入，使用协程发现没效果，初步估计应该是openpyxl的写入过程其实是cpu从内存中依次取了然后写入磁盘，并不是像网络请求那样，一个请求发出去cpu基本就不干活了，就处于接收响应的状态，所以同理，写入既然还是在使用cpu那多线程也凉了，毕竟GIL锁，使用多进程的时候，由于定义了很多全局变量，一个个去共享太麻烦，然后就偷懒只把写入函数另启进程去执行，结果发现，执行起来比正常单进程还慢，使用id函数查看了下两个对象内存中地址才发现，两个已经是不同的对象了，几万条数据的copy，再慢几秒也情有可原

Pcject
关注
Python 进程间共享数据的方法：全局变量
.
03-28 1395
如果在多个进程中都需要访问同样的全局变量，我们可以通过在不同进程中共享这些变量来实现进程间通信。当我们需要在多个进程中共享数据时，可以通过全局变量来实现数据的传递和共享。Python 中的全局变量可以在不同的进程之间共享数据，因此，使用全局变量是实现进程间通信的一种简单有效的方式。但需要注意的是，需要保障数据的安全性和可靠性，否则会造成程序执行错误或数据混乱的问题。要避免这种情况，可以使用进程锁来保证进程对共享变量的访问的原子性，即同一时间只有一个进程能够访问变量。在这个例子中，我们增加了一个进程锁。
python 多进程中的变量问题.
springtostring的博客
05-04 1468
最近写python程序，发现python的for循环太慢了，希望能通过多进程加速，加快程序速度。 程序功能：期望把每一次循环的结果都保存在一个字典dict里，但是实际输出发现字典是空的，程序功能类似如下： import torch import torch.nn as nn import time import multiprocessing MP = {} def putone(x): a,b=x[0],x[1] b[a]=2*a MP[a] = 2*a if __nam
python 多进程共享全局变量之Manager()详解
09-18
主要介绍了python 多进程共享全局变量之Manager()详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python多进程间用共享内存，共享自定义变量 的办法(不用manager)
qq_43137565的博客
11-21 3969
Python多进程间，共享python自定义变量 的办法 python多任务是个痛点，因为GIL的存在，multi_thread名存实亡非常渣，multiProcess虽然提供可用的方案，实际上也不怎么样，共享c_type变量还行，但是共享一个python自定义类型变量还需要第三方manage进程做中转，而且如果是大数据共享，只有在linux下利用创建新线程时候的fork和COW(写时拷贝)机制，...
python多进程共享变量
zwz_home的专栏
05-15 1008
https://www.cnblogs.com/lsdb/p/10815319.html https://blog.youkuaiyun.com/houyanhua1/article/details/78244288/
Python多进程共享变量
u011559236的博客
09-18 685
Python多进程间的数据是不能共享的，那么我如果要想在Python的多进程间共享变量那么应该怎么办？ 可以使用multiprocessing中的Value和Array模块，相当于在共享内存给分配了一段内存，供给全部的进程使用。 from multiprocessing import Process,Value,Array import os def f(n,a): print('T
深入剖析Python多进程共享全局变量之Manager()机制
最新发布
07-14
Python的GIL让多线程无法并行，多进程才是利用多核的出路。但进程内存隔离，全局变量无法直接共享，multiprocessing.Manager()便提供了跨进程共享list、dict、Namespace等可变对象的代理机制。 Manager()在独立进程...
Python进程，多进程，获取进程id，给子进程传递参数操作示例
12-25
本文实例讲述了Python进程，多进程，获取进程id，给子进程传递参数操作。分享给大家供大家参考，具体如下： 线程与线程之间共享全局变量，进程之间不能共享全局变量。 进程与进程相互独立 (可以通过socket套接字...
python multiprocessing多进程变量共享与加锁的实现
09-18
本文将深入探讨如何在Python的`multiprocessing`中实现多进程变量的共享以及加锁机制。 首先，让我们来看看如何使用`multiprocessing.Value`来在不同进程中同步变量。`Value`类允许我们在不同的进程中创建和共享一...
python多进程访问多个摄像头
12-20
在Python编程中，多进程是一种常见的并发执行方式，尤其在处理资源密集型任务时，如访问多个摄像头。本文将深入探讨如何使用Python的多进程和OpenCV库来同时读取和处理多个摄像头的视频流。 首先，我们看到代码中...
在多个工作进程之间共享Python对象
10-28 791
我们可以使用`multiprocessing`库来创建多个工作进程，每个进程负责训练一个特定的模型。在Python中，我们可以使用`multiprocessing`库来创建多个工作进程，并在这些进程中共享Python对象。在这个例子中，我们创建了一个字典和列表，然后在两个工作进程中修改它们。在这个测试用例中，我们创建了一个共享的字典和列表，然后在两个工作进程中修改它们。# 使用Manager来创建一个共享的数据结构，这样可以在多个工作进程中同时修改它。# 在主进程中，我们可以访问这些共享的对象。
CompletableFuture类总结)
java
09-24 413
CompletableFuture类总结 ```java public class CompletableFuture<T> implements Future<T>, CompletionStage<T> { // 1、创建一个异步操作:无返回值 public static CompletableFuture<Void> runAsync(Runnable runnable); public static CompletableFutur
关于python3 multiprocessing Pool进程池传参队列multiprocessing Queue的问题
Jack_Zhao_的博客
09-14 1688
在使用线程池进行多进程的时候，传入Queue去做进程中的通信的时候发现，子进程没有运行就退出了，比如如下写： from multiprocessing import Pool, Queue def test(q): print("start") while not q.empty(): value = q.get() print('Get %s from queue.' % value) if __name__=='__main__': q =
1 - 进程 - Windows 10 - Python - multiprocessing - 简单多进程切换、进程传参、异步进程、守护进程(进程睡眠/堵塞和线程堵塞的区别)、主/子进程区分
Muxiu
04-18 2814
目录一、单进程二、多进程的实现三、多进程传参四、获取多进程 id 编号五、主进程会等待所有的子进程执行结束再结束。六、设置守护进程，当主进程结束时，子进程也不再继续执行，直接结束。七、关于多进程必须加上 `if __name__ == "__main__"` 的理由(进程区分)：八、Jupyter Notebook 与 进程区分的关联九、关于多进程与GPU的关系 一、单进程 一般来说我们运行可执行文件，如脚本文件等，就相当于是在运行一个进程，系统会自动分配资源给这个文件运行，而这个进程就是父进程，或者说是
Python 进程之间共享数据
dati4434的博客
03-13 1219
　　最近遇到多进程共享数据的问题，到网上查了有几篇博客写的蛮好的，记录下来方便以后查看。 一、Python multiprocessing 跨进程对象共享 　　在mp库当中，跨进程对象共享有三种方式，第一种仅适用于原生机器类型，即python.ctypes当中的类型，这种在mp库的文档当中称为shared memory方式，即通过共享内存共享对象；另外一种称之为server pr...
python进程间数据交互的几种实现方式
gaogsf的博客
09-27 6811
使用 multiprocessing.Queue 可以创建一个进程间共享的队列，多个进程可以通过这个队列互相传递数据，下面是一个例子，创建了一个进程间共享的队列 q，然后启动了四个进程去调用 worker 函数，该函数会从队列中获取数据并打印出来。使用 multiprocessing.Pipe 可以创建一个管道，两个进程可以通过这个管道互相传递数据，下面是一个例子，创建了一个管道，其中 parent_conn 是父进程持有的端口，child_conn 是子进程持有的端口。管道可以在两个进程之间传递数据。
Python 中的多进程（进程之间的通信）
a883774913的博客
06-20 4915
这篇文章将会讲解在 Python 中使用**多进程**模块时在进程之间共享数据和消息传递的概念。其中会讲到 共享内存、服务器进程、队列、以及管道相关的知识
命令行运行Python脚本时传入参数--3种方法
热门推荐
helloasimo的博客
04-16 5万+
1. 把运行的python脚本名字打印出来。 Step1:将下面代码命名为t1.py import sys print(sys.argv[0]) Step2: 在terminal 下运行 python t1.py 会显示t1.py 2. Reference: 向python脚本传递参数_chengxuyuanyonghu的博客-优快云博客_python 参数传递 命令行运行Python脚本时传入参数的三种方式_Daniel2333的博客-优快云博客_python 命令行传参...
python多进程传递参数,Python多进程-进程间数据的传递
weixin_29843603的博客
03-26 2834
两个进程间的数据是独立的，要进行数据传递的话可通过几个方法Queue通过队列来进行进程间数据的传递# -*- coding:utf-8 -*-__author__ = "MuT6 Sch01aR"from multiprocessing import Process, Queuedef Child_Process(n):n.put("Data From Child Process")if __na...
python多进程共享全局变量
05-11
在Python中，多个进程之间的内存空间是相互独立的，因此默认情况下不能直接共享全局变量。但是，Python提供了一些方法来实现多进程共享全局变量： 1. 使用共享内存：Python中有一个multiprocessing模块，其中有一个Value和Array对象，可以用来创建共享内存。Value对象用于创建一个单一的共享变量，而Array对象可以用于创建一个数组。 2. 使用进程池：可以使用multiprocessing.Pool对象来创建进程池，然后使用map()或apply()方法将共享变量作为参数传递给进程池中的进程。 3. 使用队列：可以使用multiprocessing.Queue对象来创建一个进程间通信的队列，通过向队列中添加数据来共享变量。 以下是一个使用共享内存的示例代码： ```python import multiprocessing def worker(num, arr): arr[num] = num * num if __name__ == '__main__': arr = multiprocessing.Array('i', range(10)) processes = [] for i in range(10): p = multiprocessing.Process(target=worker, args=(i, arr)) processes.append(p) p.start() for p in processes: p.join() print(arr[:]) ``` 在上面的代码中，我们创建了一个长度为10的数组arr，并将其传递给多个进程进行修改。每个进程将数组中的值平方，并将结果保存回数组。最后，我们打印出了修改后的数组。 需要注意的是，由于多个进程同时访问共享内存，可能会出现竞争条件和死锁等问题，因此在使用共享内存时需要格外小心。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值