本文介绍了MapReduce的基本概念，包括映射与归约过程，并探讨了任务调度中常见的问题，如数据locality和数据shuffle机制。
1.mapreduce:映射-归约
映射：分布式计算
归约：统计处理
2.任务调度常见问题：
数据locality:给包含该instance最多数据的节点去计算
数据shuffle:
重试：当慢于平均时间触发机制，给另一个节点计算（因为异构）
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
1.mapreduce:映射-归约
映射：分布式计算
归约：统计处理
2.任务调度常见问题：
数据locality:给包含该instance最多数据的节点去计算
数据shuffle:
重试：当慢于平均时间触发机制，给另一个节点计算（因为异构）
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
