python基于multiprocessing的通用的并行计算框架

最新推荐文章于 2025-09-19 13:34:41 发布

原创

最新推荐文章于 2025-09-19 13:34:41 发布 · 3.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #并行计算 #高性能计算 #multiprocessing

项目介绍

基于multiprocessing的通用的并行计算框架，用于计算密集型场景

github

https://github.com/conggova/mpparallizer.git

接口定义

class MPParallizer(object) :
    @staticmethod
    def parallize(paras , func , threads , para_serder = FakeSerDer , result_serder = FakeSerDer) 
    @staticmethod
    def parallize_with_general_paras(paras , general_paras , func , threads , para_serder = FakeSerDer , general_paras_serder = FakeSerDer , result_serder = FakeSerDer)

parallize

对于一组参数paras ( 形如 [(para1 , para2 , …) , (para1 , para2 , …) , …] ) 和一个函数func( 必须是普通函数，调用形式为func(para1 , para2 , …) )，利用Python的Multiprocessing库做并行执行，得到一个结果列表。
para_serder和result_serder为对于每一组参数和结果的序列化工具类，实现SerDer接口（包括serialize和deserialize方法）。
默认的FakeSerDer也是SerDer的一种实现，即不做序列化和反序列化。