python中用 multiprocessing 加速任务处理
背景
面对海量任务需要高效对其进行消费,而任务之间不存在处理结果的相互依赖。
方案1: multiprocessing模块
以下模拟每个任务处理耗时1s,共有50任务的场景。
示例代码如下:
import time
from multiprocessing import Pool
def function_call(task_dict):
time.sleep(1) # 模拟真实的处理流程
print(task_dict)
if __name__ == '__main__':
原创
2021-08-28 10:51:37 ·
600 阅读 ·
0 评论