multiprocess中的list无法append数据

最新推荐文章于 2023-07-27 23:34:08 发布
原创 最新推荐文章于 2023-07-27 23:34:08 发布 · 300 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文探讨了Python中多进程如何处理子进程间的通信问题，特别是子进程产生的数据如何通过队列或管道传递回父进程。示例展示了使用`multiprocessing`模块的`Pool`进行并行计算，并将结果存储在列表中，最后通过`.get()`方法获取每个子进程的计算结果。

每个进程都有一套自己的内存, 所以在子进程中创建的list或者dict没法直接传回子进程, 只能用多进程模块提供的队列或者管道。

python多进程获取返回值:
pool = mp.Pool(processes=8)
for j in range(0, n):
    res = pool.apply_async(MICS, args=(
        LUCC2[j * x_slice:j * x_slice + x_slice, :],
        NPP2[j * x_slice:j * x_slice + x_slice, :],
        TMP2[j * x_slice:j * x_slice + x_slice, :],
        f_clay2[j * x_slice:j * x_slice + x_slice, :],
        LUCC_land2[j * x_slice:j * x_slice + x_slice, :],
        j))
    res1.append(res)

pool.close()
pool.join()
res2 = [i.get() for i in res1]
multiprocessing解析(一):Process的解析
liuxingen的专栏
05-21 2万+
最近项目中为了提升Python的运行效率，要使用到multiprocessing模块，场景其实不算复杂但是为了避免带来一些隐晦的bug，我觉得还是深入了解一下它比较好。因为当我使用multiprocessing的时候我觉得Python替我做的事情太多了（其实也就是用multiprocessing太方便了）给我带来了快感却没有安全感，还有一个主要的原因就是我觉得fork是最”奇幻”的函数。 可能会分
multiprocessing 进程池 数据共享
zywhehe的博客
02-07 991
嵌套列表必须也声明为 multiprocessing.Manager().list() ，否则针对嵌套列表的操作无效，因此，建议先构建列表，再创建共享列表进行初始化
Python 两个list相加不能使用append而应该使用+
good18Levin的博客
02-23 544
Python中list的append()方法踩坑记录
heyong的博客
11-02 2198
append()方法 定义：append() 方法用于在列表末尾添加新的对象。 语法： list.append(obj) 参数：obj – 添加到列表末尾的对象。 返回值：无返回值，但会修改原来的list 注意： 我们添加到list中的是对象的引用（Java中叫引用），也就是说，执行完list.append(obj)代码后，obj后续再改变也会引起list的改变，这就是一个大坑了，需要采用如下方式避免： list.append(obj.copy()) 我们直接将obj拷贝一份放到list中，后续obj的
python实现multi函数_python并行计算（上）：multiprocessing、multiprocess模块
weixin_39610721的博客
12-06 2200
由于python相当易学易用，现在python也较多地用于有大量的计算需求的任务。本文介绍几个并行模块，以及实现程序并行的入门技术。本文比较枯燥，主要是为后面上工程实例做铺垫。第一期介绍最常用的multiprocessing模块，以及multiprocess模块。python实现多进程的模块最常用的是multiprocessing，此外还有multiprocess、pathos、concurren...
python list列表数据append时返回错误
dodwind的博客
10-24 8895
  import numpy as np list = [] #创建空列表 list.append(1) #无错误 list.append（）时无错误，但不能使用list = list.append（），错误显示NoneType不能append，因为 list.append（）对list本身做了修改，返回值为None。 >>> test=test.ap...
python多进程与进程间通信：fork()方法和multiprocess实例
Yancy的博客
03-18 3371
目录 fork()方法(windows不可用) 跨平台multiprocessing 进程池Pool 进程间通信 Queue pipe() Manager 注意事项 参考资料 考虑到现在电脑一般都有双核甚至四核的CPU，故可设计算法并行的方法，通过python编程实现并行运算，从而加快处理的速度。虽然没有GPU进行图像算法的并行运算，但是能利用好双核CPU应该也是大有帮助吧！ ...
python多进程数据处理
qq_55927986的博客
07-27 555
尝试处理10G的视频数据。简单的python代码实现在数据量庞大的情况下事件开销比较大，所以尝试使用并行计算进行加速。
在PySide中使用多进程与多线程（multiprocess,threading）
WingC的博客
11-11 7075
在UI界面程序中，使用到多进程与多线程是很常见的场景，有时候我们需要将一些耗时的操作放在其他的线程或者进程中，避免卡死主线程。而且利用多线程加Qt的信号槽机制我们可以在子进程中实现事件监听，实时监测进程间的通信。之前一直对线程和进程的理解不太深刻，借着这次机会好好理解了一下多线程与多进程，等之后在接触带锁的多线程模式。multiprocess是python的一个库，由于python的跨平台特性，我们
Python调用Prometheus监控数据并计算
m0_72444380的博客
09-16 3877
时间序列数据(TimeSeries Data) : 按照时间顺序记录系统、设备状态变化的数据被称为时序数据。无人驾驶运行中记录的经度，纬度，速度，方向，旁边物体距离等。某一个地区的各车辆的行驶轨迹数据。传统证券行业实时交易数据。实时运维监控数据等。性能好、存储成本低Prometheus 是一个监控平台，它通过抓取监控目标(targets)上的指标 HTTP 端点来从这些目标收集指标。安装完Prometheus Server端之后，第一个targets就是它本身。具体可以参考官方文档。
python multiprocessing 类与方法集合
牟涛的博客
08-06 1963
multiprocessing 官方文档：https://docs.python.org/zh-cn/3.7/library/multiprocessing.html#module-multiprocessing.pool 功能概述(建议先看下方的方法集合后再回头看)： Process类 上下文和启动方法¶ 在进程之间通信 进程之间的同步¶ 在进程之间共享状态 使用工作进程 Process classmultiprocessing.Process(group=None,...
python的multiprocessing的坑
qq_27292549的博客
06-20 1万+
1参数就算只有一个也要写成（arg,）的形式 2在类里面必须声明成静态方法 3不能将要执行子进程的方法写到于Pool或者Process同级的方法内部 4执行子进程的方法如果是使用map进程池的时候必须只能接受一个参数，所以多参数的时候要使用zip包裹起来，使用apply参数必须分开，不能只写为一个 5有的对象不可以被pickle则不能当作参数传递 6多进程中可以传递lock，但不能直接传...
python 并行计算 multiprocessing、multiprocess模块 简介
whatday的专栏
03-04 4924
目录 多进程才是真·并行 multiprocessing模块 1、创建子进程 2、进程间通信——数据共享 3、进程间通信——数据传递 4、锁（同步原语） 5、其他重要函数 multiprocess模块 实例（multiprocessing模块） （1）multiprocessing.Process() （2）multiprocessing.Pool()，apply方法 （3）multiprocessing.Pool()，apply_async方法 （4）multiprocessin
Python multiprocessing使用详解
热门推荐
gmHappy
04-17 13万+
multiprocessing包是Python中的多进程管理包。 与threading.Thread类似，它可以利用multiprocessing.Process对象来创建一个进程。 该进程可以运行在Python程序内部编写的函数。 该Process对象与Thread对象的用法相同，也有start(), run(), join()的方法。 此外multiprocessing包中也有Lock/Eve...
python3 multiprocessing 多进程 列表类型 listproxy 清除内容
whatday的专栏
09-21 2685
目录 错误示例 报错信息 正确方法 listproxy 清除内容方法：lst[:] = [] 错误示例 num_consumers = multiprocessing.cpu_count() p = multiprocessing.Pool(num_consumers) manager = multiprocessing.Manager() mp_list = manager.list() def put_some_data(data): #Processing occurs an
python 子进程和父进程参数传递
406156440的博客
07-30 4898
最近遇到了一个非常麻烦的问题: 复杂的讲, 由于对grpc的了解仅是皮毛, 导致grpc的服务端收到数据后, 没有办法直接使用这些数据, 因为项目中运行grpc服务端被本人封到了一个类一个子进程中, 如下图所示, 本来希望定义一个全局变量global, 然后通过grpc服务端得到数据, 在从主函数中(父进程)中使用这个全局变量的数据, 但是无论进行怎样的尝试都无法实现, 调试了一天, 总觉得是我的语法或者代码逻辑有问题, 直到我查看了一个博客, 写明了一句话 创建进程的时候, 会把资源和全局变量统统拷贝一波
python进程，进程之间的数据交换
weixin_44992737的博客
06-04 2652
python进程概念详解，创建进程，进程信息交换
python多进程manager_python进程之间修改数据[Manager]与进程池[Pool]
weixin_35836501的博客
02-03 568
#前面的队列Queue和管道Pipe都是仅仅能再进程之间传递数据，但是不能修改数据，今天我们学习的东西就可以在进程之间同时修改一份数据#Mnager就可以实现import multiprocessingimport randomdef f(l,n):l.append(n)if __name__ == ‘__main__‘:m = multiprocessing.Manager()m_dict = ...
multiprocessing --- 基于进程的并行
Qwertyuiop2016的博客
07-19 586
概述 原文链接：https://docs.python.org/zh-cn/3/library/multiprocessing.html 其实原文就是中文的，这篇文章甚至谈不上翻译，只是照抄一遍罢了 简单的例子 创建进程 from multiprocessing import Process def f(name): print('hello', name) if __name__ == '__main__': p = Process(target=f, args=('bob',))
import time import traceback from multiprocessing import Process from multiprocessing.managers import BaseManager, ListProxy port = 50000 class AccountSession: def test(self): print("test") process_session = [] sessions_list = [] print('run') # def set_session(session): # global process_session # process_session.append(session) # # def get_session(): # return process_session def get_sessions(): return sessions_list class SessionProcessManager(BaseManager): session = None def set_session(self, session): self.session = session # class AccountSession(AccountSession): # pass SessionProcessManager.register('AccountSession', AccountSession) # SessionProcessManager.register("set_session", set_session) # SessionProcessManager.register('get_session', get_session) SessionProcessManager.register('get_sessions', callable=get_sessions, proxytype=ListProxy) # def test(): # global sessions_list # manager = SessionProcessManager( # address=("127.0.0.1", port), # # authkey=b"redbear" # ) # manager.start() # session = manager.AccountSession() # manager.get_session().append(session) # print('end') def test(): global sessions_list manager = SessionProcessManager( address=("127.0.0.1", port), authkey=b"123" ) manager.start() # 使用 manager.get_sessions() 返回的是 Proxy 对象 sessions_list = manager.get_sessions() session = manager.AccountSession() sessions_list.append(session) print("sessions added:", sessions_list) return manager def close_session_by_process(port): try: # global sessions_list # print(sessions_list) manager = SessionProcessManager( address=("127.0.0.1", port), authkey=b"123" ) manager.connect() session = manager.get_sessions()[0] session.test() # for _ in manager.get_sessions(): # print(_) # print(session) # session.test() except: traceback.print_exc() if __name__ == '__main__': print(port) manager = test() print(manager._state.value) a = Process(target=close_session_by_process, args=(port,)) a.start() a.join() # import pickle # session = AccountSession() # pickle.dumps(session) while True: time.sleep(1) print(manager._state.value) # print(manager.)
最新发布
11-28
在 Python 中，正确的模块名是`multiprocessing.managers`，而不是`multiprocess.managers`，如引用[2]中的代码存在此问题，正确的导入方式如下： ```python from multiprocessing.managers import BaseManager ``` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值