
hadoop
mydreamongo
这个作者很懒,什么都没留下…
展开
-
hadoop伪分布式每次启动时需要重新format否则namenode无法启动的问题
伪分布式模式下,hadoop每次start-all完之后,用jps发现namenode没有正常启动,原因是将hadoop默认的临时目录在/tmp目录下,这个目录在机器重启后就会删除。所以在conf目录下的core-site.xml文件里加入对临时文件夹的配置即可 hadoop.tmp.dir /home/hadoop-1.0.4/tmpdir原创 2012-11-04 16:18:08 · 6177 阅读 · 0 评论 -
MapReduce:详解Shuffle过程
转载自:http://langyu.iteye.com/blog/992916 Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这转载 2013-06-12 20:46:22 · 731 阅读 · 0 评论