安装CDH5 hadoop2.2.0遇到的配置问题

tttjjjlll

于 2013-11-06 18:24:57 发布

阅读量191

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/tttjjjlll/article/details/84496607

版权

hadoop 专栏收录该内容

22 篇文章

订阅专栏

本文记录了一次在Cloudera Hadoop 2.2 (CDH5)环境中遇到的问题：启动YARN服务时NodeManager无法正常启动，并抛出了关于yarn.nodemanager.aux-services配置项的错误。文中详细描述了解决该问题的过程，包括修改yarn-site.xml文件中的配置项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop版本: cloudera hadoop2.2 CDH5

今天在安装hadoop后，启动start-yarn.sh后，nodemanager起不起来，后来查看DN节点的日志，报了以下一个错误：


 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager  
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only  
 contain a-zA-Z0-9_ and can not start with numbers

解决办法：
修改yarn-site.xml文件:


<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>

是由于yarn.nodemanager.aux-services配置错误导致。

这个我有个纳闷点，在使用cloudera CDH4 hadoop2.0版本时，这个配置的值设置的是mapreduce.shuffle，而且查了这个值的默认就是这个，为什么在CDH5版本中变成了下划线不得而知。