本文探讨了Hadoop MapReduce作业运行过程中遇到的问题，例如部分Map或Reduce任务长时间处于等待状态导致整个作业无法完成的情况。文章还提供了一些关于如何合理设置Map和Reduce数量的经验建议。
hadoop 的mapreduce 的作业在运行过程中常常碰到一些这样的情况：
每一个map或者reduce只有30-40秒钟就结束
超 大规模的job 时，通常会需要大量的map和reduce的slots 支持，但是job运行起来后，running的map和reduce并没有沾满集群的可用slots
当几乎所有的map和 reducers都在调度系统 中运行着，此时却有 一个或者两个pending的map或者reduce，一直不跑，使得job一直无法正常结束。
对一 个job的map数和reduce数的设定对一个job的运行是非常重要的，并且非常简单。关于设置这几个值的经验总结：
已经迁移至新博客：
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
