关于 hadoop-2.2 配置中的 yarn.nodemanager.aux-services 项

最新推荐文章于 2023-08-24 17:35:19 发布

原创最新推荐文章于 2023-08-24 17:35:19 发布 · 2.5w 阅读

3 ·

CC 4.0 BY-SA版权

大数据同时被 3 个专栏收录

25 篇文章

订阅专栏

Big Data

21 篇文章

订阅专栏

Hadoop

21 篇文章

订阅专栏

本文介绍在Hadoop-2.2中配置YARN NodeManager时出现的一个错误，即使用了无效的服务名'mapreduce.shuffle'。文章详细解释了错误原因并提供了修改配置为'mapreduce_shuffle'的解决方案。

在hadoop-2.0.3-alpha 的配置中，yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”，但如果在hadoop-2.2 中继续使用这个值，NodeManager 会启动失败，在logs/yarn-biadmin-nodemanager-hostname.log里会报如下的错：

2014-01-19 22:35:04,309 FATAL org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: Failed to initialize mapreduce.shuffle
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers
        at com.google.common.base.Preconditions.checkArgument(Preconditions.java:88)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.serviceInit(AuxServices.java:98)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceInit(ContainerManagerImpl.java:218)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:188)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:338)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:386)

解决方案：

将yarn.nodemanager.aux-services项的值改为“mapreduce_shuffle”。