6.824 lab1 mapreduce实现过程及问题

一、实现思想：

总共分为两步：map与reduce，map按split并发，reduce按nreduce数量并发即可。

代码：https://github.com/huqiyii/6.824

二、问题：

1、将同一个split分发给多个worker

原因：在同一时间多个worker发起申请，在第一个worker写入timemap之前，还有多个worker也通过了timemap的判断，导致也会进行任务的分发。

优化：timemap的判断与修改应该是原子操作，使用mutex进行同步

2、map任务尚未完全结束就开始分发reduce任务

原因：只判断了map任务是否分发完毕，没有判断map任务是否全部执行完毕

优化：添加一个wait状态，当map任务或者reduce任务都分发完毕但是没有执行完毕时master返回wait状态，worker收到wait回应之后sleep一秒再重新发起申请。

3、前一次的mapreduce产生的intermediate文件对后面的mapreduce产生影响，导致最终结果错误

原因：临时文件命名固定，每次产生的intermediate文件都一致，无法区分是哪次mapreduce产生的。

优化：每次mapreduce都生成一个唯一的stamp标志本次查询，生成的temp文件也带有这个stamp，避免对非本次查询造成混淆