hadoop-2.6.0运行woudcount报错

dhtx_wzgl

于 2015-07-13 17:03:12 发布

阅读量912

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/dhtx_wzgl/article/details/46864757

Hadoop 专栏收录该内容

10 篇文章

订阅专栏

在安装了Hadoop 2.6.0的集群中，尽管50070和8088端口的Web页面可以正常访问且未报告错误，但尝试运行WordCount作业时遇到问题。通过修改mapred-site.xml配置文件，包括设置mapreduce.framework.name为yarn，重新格式化namenode并重启集群，最终成功提交并运行了WordCount作业。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近安装的hadoop-2.6.0的集群50070和8088web页面都能打开，也不报任何错，但是在运行wordcount作业时，总是不成功，最后修改了mapred-site.xml配置后，再重新格式化namenode、重启集群，再跑wordcount作业，作业提交成功

修改后的mapred-site.xml内容如下

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>

<property>
<name>mapred.job.tracker</name>
<value>jobtracker:8021</value>
<final>true</final>
</property>

<property>
<name>mapred.local.dir</name>
<value>/disk1/mapred/local,/disk2/mapred/local</value>
<final>true</final>
</property>

<property>
<name>mapred.system.dir</name>
<value>/tmp/hadoop/mapred/system</value>
<final>true</final>
</property>

<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>7</value>
<final>true</final>
</property>

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx400m</value>
</property>

</configuration>