27、小消息，大计算与MapReduce索引实践

小消息，大计算与MapReduce索引实践

1. 并行计算基础与实验

在并行计算领域， pmap 是一个强大的工具，它不仅可以在多核CPU的进程间分配计算任务，还能在分布式网络的节点间进行任务映射。我们可以利用基本的 spawn 、 send 和 receive 原语构建大量的抽象，从而创建自己的并行控制抽象，提升程序的并发性能。需要注意的是，无副作用是提高并发性能的关键。

为了更直观地了解并行计算的性能，我们进行了两个实验。第一个实验是对包含100个元素的列表进行操作，每个元素是一个包含1000个随机整数的列表，使用 lists:sort/1 函数进行排序；第二个实验是对包含100个27的列表，计算斐波那契数列 fib(27) 。我们分别使用顺序 map 和并行 pmap 进行计算，并记录时间。

第一个计算使用 pmap 时，不同进程间需要传递相对大量的数据（1000个随机数的列表），但排序过程相对较快；第二个计算只需要向每个进程发送一个小请求（计算 fib(27) ），但递归计算 fib(27) 的工作量相对较大。由于计算 fib(27) 时进程间数据复制较少且工作量大，我们预计第二个问题在多核CPU上的性能会优于第一个问题。

2. 运行SMP Erlang

SMP（对称多处理）