工作中需要用到python 数据预处理,然后 跑spark hadoop 太过繁琐,为提高计算速度,再加所用服务器核比较多,然后考虑用parrelell python.
1、pp用的包 :包名叫pp, pip install pp
import math,sys,time
import pp2、主要函数
job_server = pp.Server(cpu_number,ppservers = ppserver)
job1 = job_server.submit(***)
job2 = job_server.submit(***)
jobn = job_server.submit(***)
本文介绍如何使用Parallel Python (pp) 提高数据预处理的速度,特别是在拥有多个CPU核心的服务器上。通过具体代码示例展示了如何初始化pp服务器,并提交并行任务。
7635

被折叠的 条评论
为什么被折叠?



