关于 hadoop-2.2 配置中的 yarn.nodemanager.aux-services 项

hadoop2.2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid hadoop安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 启动: [hadoop@hadoop02 hadoop]$ yarn-daemon.sh start nodemanager starting nodemanager, logging to /app/hadoop/hado 阅读详情

在hadoop-2.0.3-alpha 的配置中,yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”,但如果在hadoop-2.2 中继续使用这个值,NodeManager 会启动失败,在logs/yarn-biadmin-nodemanager-hostname.log里会报如下的错:

2014-01-19 22:35:04,309 FATAL org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: Failed to initialize mapreduce.shuffle
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers
        at com.google.common.base.Preconditions.checkArgument(Preconditions.java:88)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.serviceInit(AuxServices.java:98)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceInit(ContainerManagerImpl.java:218)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:188)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:338)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:386)


解决方案:

将yarn.nodemanager.aux-services项的值改为“mapreduce_shuffle”。

汽车OTA自动化测试解决方案 目前OTA远程升级技术已成为众多汽车制造商的标配。由于OTA升级可能会带来潜在的风险(特别是包含ECU固件更新的FOTA升级),针对OTA系统的测试过程就尤为重要。 阅读详情

相关推荐

一文搞懂深度学习:最全神经网络介绍

本文是深度学习系列文章的第二篇,我们将深入探讨各种类型的人工神经网络,探索它们独特的特性和应用。

2402_82802238的博客 2800

hadoop-3.0.0 配置中的 yarn.nodemanager.aux-services 项

在hadoop-3.0.0-alpha4 的配置中,yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”,但如果在hadoop-2.2 中继续使用这个值,NodeManager 会启动失败,在logs/yarn-biadmin-nodemanager-hostname.log里会报如下的错: java.lang.IllegalArgumen...

weixin_30778805的博客 3759

电阻应变式力传感器

电阻应变式力传感器

lu_fresh_student的博客 5075

解析Hadoop新一代MapReduce框架Yarn

更快、更强——解析Hadoop新一代MapReduce框架Yarn 摘要:本文介绍了Hadoop 自0.23.0版本后新的MapReduce框架(Yarn)原理、优势、运作机制和配置方法等;着重介绍新的Yarn框架相对于原框架的差异及改进。 编者按:对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不...

iteye_3276的博客 504

74HC165级联踩坑实录:STM32读取32路开关状态,时序调试与常见问题排查

本文详细介绍了74HC165级联在STM32读取32路开关状态时的时序调试与常见问题排查。从硬件设计的PCB布局优化、电源噪声控制,到软件时序的精确调校和数据采集策略,提供了完整的解决方案。通过逻辑分析仪和示波器的高效使用,解决了信号延迟和干扰问题,最终实现了稳定可靠的32路信号读取。

weixin_34046298的博客 313

07- Rossmann商店销售预测 (Xgboost集成算法) (项目七)

Rossmann在欧洲国家经营着3000多家日化用品超市。目前,Rossmann商店经理的任务是提前6周预测他们的日销售额。商店的销售受到许多因素的影响,包括促销、竞争、学校和国家假日、季节性和地域性。由于数以千计的管理者根据自己的特殊情况预测销售,结果的准确性可能会有很大的差异。 因此使用机器学习算法对销量进行预测,Rossmann要求预测德国1115家商店的6周日销售额。可靠的销售预测使商店经理能够制定有效的员工时间表,提高生产力和积极性。

March_A的博客 2462

Hadoop YARN配置参数剖析

本文部分转自 Hadoop YARN配置参数剖析(1)—RM与NM相关参数 本文部分转自 Hadoop YARN中内存的设置 一 ResourceManager 相关配置参数 1 通信配置参数 2 调度器配置参数 3 内存和 CPU 配置参数 二 NodeManager 相关配置参数 1 内存与 CPU 配置参数 1 日志配置参数 3 运行配置参数 三 Hadoop YARN 中

Zephyr's Blog 5178

国科大 雁栖湖校区 研一上 课程避坑与生存指南

本文为国科大雁栖湖校区研一新生提供全面的课程避坑与生存指南,涵盖选课策略、核心课程学习技巧、校园生活攻略及心态管理。重点解析算法设计与分析、人工智能原理等硬核课程的学习方法,并分享食堂、住宿、自习室等实用生存技巧,帮助新生高效适应研究生生活。

weixin_29304985的博客 301

spark on yarn

说明这篇文章记录下 spark提交左右在yarn上运行hadoop配置主要配置yarn-site.xml文件,我们目前使用mapreduce_shuffle,而有些公司也增加了spark_shuffle 只使用mapreduce_shuffle<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuf

stark_summer的专栏 2万+

人大金仓的‘影子表’sys_user:搞懂Schema优先级,告别字段不存在的报错

本文深入解析人大金仓数据库中‘影子表’sys_user的Schema优先级问题,帮助开发者解决字段不存在的报错。通过分析Schema搜索路径机制,提供四种解决方案,包括连接时指定Schema、动态调整搜索路径、永久修改用户设置和使用完全限定表名,确保查询准确无误。

weixin_30329623的博客 596

复现Fastjson反序列化漏洞(从dnslog回显到rce再到反弹shell)

Fastjson是阿里巴巴的开源JSON解析库,它可以解析 JSON 格式的字符串,支持将 Java Bean 序列化为 JSON 字符串,也可以从 JSON 字符串反序列化到 JavaBean。它还可以用于将JSON字符串转换为等效的Java对象,fastjson爆出多个反序列化远程命令执行漏洞,攻击者可以通过此漏洞远程执行恶意代码来入侵服务器。......

记录并分享学习安全的知识点.. 2697

YARN资源调度框架搭建和应用

一、产生的背景 1、MapReduce1.0存在的问题 ,架构如图所示: 1)单点故障:JobTracker只有一个,JobTracker挂了整个集群就没办法使用了; 2)一个人干的活太多:JobTracker负责接收来自各个JobTracker节点的RPC请求,压力会很大,限制了集群的扩展;随着节点规模增大之后,JobTracker就成为一个瓶颈; 2、资源利用率和运维成本 1)在没有YARN...

zenglaoshi的博客 417

【网络与爬虫 44】Canvas指纹伪造技术:突破浏览器图形渲染检测的终极指南

Canvas和WebGL指纹是现代反爬虫系统中最难绕过的检测技术之一,它们通过分析浏览器图形渲染的细微差异来识别用户设备。本文将深入解析Canvas和WebGL指纹的工作原理,探讨其在反爬虫检测中的应用,并提供多种有效的伪造和绕过策略,帮助开发者理解并应对这些高级检测技术。

熵数实验室 1206

hadoop配置_Hadoop配置yarn

yarn的英文意思是yet another resource negotiator 即另一种资源协调器。它主要是分为Resource Manager、node manager 、container等部分构成RM(resource manager)resource manager是一个资源的管理的器,它主要由两部分组成,第一部分就是scheduler调度器,第二部分application manag...

weixin_39609718的博客 213

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Hadoop启动Yarn

1,首先进入hadoop目录:cd /usr/local/hadoop 2,修改配置文件 mapred-site.xml,这边需要先进行重命名:      mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml      然后修改内容:gedit ./etc/hadoop/mapred-site.xml  ...

Swt_BigData的博客 1539

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

hadoop 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster

这个是 因为 在 yarn 执行MapReduce的使用 找不到 hadoop 的classpath 一般在 shell中输入 hadoop classpath 输出为 /etc/hadoop/conf:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop/lib/*:/o...

老猿说说专栏 2495

nodemanage无法启动的问题,查看日志报错The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is i

一、 hadoop版本2.7.2 hdfs启动正常 主节点启动正常 从节点输入jps查看进程,发现少了datanode(刚启动就被关闭) 输入日志目录: /export/servers/hadoop-2.7.2/logs, 查看日志 日志报错信息:The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is...

xiaomi0329的博客 685

七、hadoop mapreduce使用yarn在集群中运行(该文章还需修改)

需要在mapred-site.xml文件中配置: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </confi...

祁东握力的博客 449

hadoop2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid

转:http://blog.csdn.net/bamuta/article/details/12995139 解决办法 : 在1个网站上找到了解决方法,(网络忘了没记)urg, my copy/paste was botched up but hopefully this still makes sense. The value mapreduce.shuffle is now mapredu...

weixin_34198881的博客 237

启动Hadoop 2.8.5遇到的错误:The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is inval...

问题: yarn-site.xml配置: <?xml version="1.0"?> <configuration> <property> <name>yarn.resourcemanager.address</name> <value...

weixin_30752377的博客 299

配置yarn方法

1.etc/hadoop/mapred-site.xml: <configuration> <property> <name>mapreduce.framework.name</name> --框架配置 <value>yarn</value> </property> <property> <name>mapreduce

m0_64016142的博客 2012

Hadoop搭建yarn教程

1.yarn的配置在搭建Hadoop的过程中已经配好,所以启动即可。 详细配置如下: (1)在/opt/hadoop/hadoop-3.3.0/etc/hadoop上配置mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> (2)在/opt/hadoop/hadoop-3.3

方法属性类,一个都不会 424

hadoop2.8配置_hadoop2.8安装教程

vim etc/hadoop/yarn-site.xml在中加入yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.auxservices.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.addresss20...

weixin_39553753的博客 111

配置hadoop yarn高可用

前提 三台服务器分别为hadoop01,hadoop02,hadoop03且已经在hosts中配置 三台服务器网络连通 三台服务器都已经安装好jdk和zookeeper 1.配置yarn-site.xml 进入配置文件目录: cd ./hadoop-3.1.2/etc/hadoop 修改配置文件: vi yarn-site.xml <configuration> &lt...

weixin_44928809的博客 582
上一篇: MapReduce的input为包含小文件的zip压缩文件的相关实验
下一篇: 利用 Java API 监控 Zookeeper 的结点变化
坡上的云
博客等级 码龄20年 50粉丝 30原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值