hadoop运行到mapreduce.job: Running job后停止运行

最新推荐文章于 2024-07-16 19:07:23 发布

原创最新推荐文章于 2024-07-16 19:07:23 发布 · 8.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文解决在使用Hadoop2.7.1版本、openjdk8运行于VirtualBox5.0.6上的Ubuntu15.04伪分布环境下，执行特定命令时遇到的运行停滞问题。通过调整VirtualBox分配资源至适当水平，最终成功解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

版本信息：Hadoop2.7.1, openjdk 8，运行在VirtualBox 5.0.6的Ubuntu 15.04上，基本上是目前（2015.10.13）最新的版本；

问题，在伪分布环境下，运行 bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output'dfs[a-z.]+'（Hadoop2.7.1里的实例）时，运行到INFO mapreduce.Job: Running job:job_....之后，就不再运行了，没有错误提示，ubuntu也基本死了。

网上解决方法：
（1）有说服务未启动的。但jps后发现6个服务都启动了，包括NameNode,SecondaryNameNode, ResourceManager, DataNode, NodeManager和jps；
（2）有说hosts文件的问题。经检查/etc/hosts中两条 127.0.0.1 localhost和127.0.1.1 <username> （<username>显示的是我的用户名）很正常；
（3）有说yarn-site.xml等文件未配置正确。经检查与官网（http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html）上所说完全一致；

最终解决方法：
原来仅是VirtualBox创建Ubuntu时分配的资源太少了：
机器配置：内存4096M、硬盘500G、4个CPU、显存128M
默认分配：内存768M、硬盘8G、1个CPU、显存12M
改变后分配值：内存1987M（提示分配给虚拟内存最高的数值，即1988M时VitualBox就提醒我分配内存太高）、硬盘64G、2个CPU、36M显存
以上数值，非专业调整，都是我感觉着调整的，也未必合理。

最终示例顺利运行过去了。