15、Python并行处理技术全解析

Python并行处理技术全解析

1. 减少并行处理开销

在并行处理中，为了让任务通信开销与计算时间相比可以忽略不计，我们可以让每个工作进程一次处理多个样本。以下是具体实现步骤：
1. 定义 sample_multiple 函数，用于处理多个样本：

def sample_multiple(samples_partial):
    return sum(sample() for i in range(samples_partial))

2. 设置任务数量和每个任务处理的样本块大小：

n_tasks = 10
chunk_size = samples/n_tasks

3. 创建进程池并异步执行任务：

pool = multiprocessing.Pool()
results_async = [pool.apply_async(sample_multiple, chunk_size) for i in range(n_tasks)]

4. 汇总结果：

hits = sum(r.get() for r in results_asy