python-16-多进程模块multiprocessing

用python写了个程序，结果运行了一天，这个速度可让人发愁，怎么优化交作业。发现可以用并行计算来最大化压榨电脑的CPU，提升计算效率，而且python里有multiprocessing这个库可以提供并行计算接口。然后大致弄清了GPU、CPU、进程、线程、并行计算、分布式计算等概念

1 大数据时代的现状

当前我们正处于大数据时代，每天我们会通过手机、电脑等设备不断的将自己的数据传到互联网上。据统计，YouTube上每分钟就会增加500多小时的视频，面对如此海量的数据，如何高效的存储与处理它们就成了当前最大的挑战。
但在这个对硬件要求越来越高的时代，CPU却似乎并不这么给力了。自2013年以来，处理器频率的增长速度逐渐放缓了，目前CPU的频率主要分布在3到4GHz。这个也是可以理解的，毕竟摩尔定律都生效了50年了，如果它老人家还如此给力，那我们以后就只要静等处理器频率提升，什么计算问题在未来那都不在话下了。实际上CPU与频率是与能耗密切相关的，我们之前可以通过加电压来提升频率，但当能耗太大，散热问题就无法解决了，所以频率就逐渐稳定下来了，而Intel与AMD等大制造商也将目标转向了多核芯片，目前普通桌面PC也达到了4到8核。

2 面对挑战的方法

咱们有了多核CPU，