
MapReduce
念雅小轩
这个作者很懒,什么都没留下…
展开
-
MapReduce shuffle过程剖析及调优
MapReduce简介在Hadoop MapReduce中,框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收,是一个很复杂的过程,框架处理了所有问题,并提供了很多配置项及扩展点。转载 2017-11-07 13:43:22 · 394 阅读 · 0 评论 -
Could not deallocate container for task attemptId attempt_1527460471557_511564_r_000000_0
hive任务执行出错,map和reduce进程一直为0% 查看log日志发现,报错如下:Could not deallocate container for task attemptId attempt_XXX 从字面意思可知,是因为没有给任务分配container,在创建容器的过程中出错了。 通过查阅资料发现,主要是以下两个原因: (1)nodemanager内存不够; (2)yarn...原创 2018-09-26 20:11:50 · 3746 阅读 · 0 评论