关于 hadoop-2.2 配置中的 yarn.nodemanager.aux-services 项

hadoop2.2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid hadoop安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 启动: [hadoop@hadoop02 hadoop]$ yarn-daemon.sh start nodemanager starting nodemanager, logging to /app/hadoop/hado 阅读详情

在hadoop-2.0.3-alpha 的配置中,yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”,但如果在hadoop-2.2 中继续使用这个值,NodeManager 会启动失败,在logs/yarn-biadmin-nodemanager-hostname.log里会报如下的错:

2014-01-19 22:35:04,309 FATAL org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: Failed to initialize mapreduce.shuffle
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers
        at com.google.common.base.Preconditions.checkArgument(Preconditions.java:88)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.serviceInit(AuxServices.java:98)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceInit(ContainerManagerImpl.java:218)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:188)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:338)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:386)


解决方案:

将yarn.nodemanager.aux-services项的值改为“mapreduce_shuffle”。

基于RYU+Mininet的SDN校园网络实战:从零搭建虚拟化实验环境 本文详细介绍了如何利用RYU控制器和Mininet搭建SDN校园网络实验环境,从Ubuntu虚拟机准备到网络拓扑设计,再到关键网络功能实现。通过实战案例展示SDN在校园网络中的应用优势,包括简化配置、提升效率等,为网络工程师和学生提供了一套完整的虚拟化实验方案。 阅读详情

相关推荐

CentOS 7下Synopsys DC综合工具安装与配置全攻略(附常见报错解决方案)

本文详细介绍了在CentOS 7操作系统上安装与配置Synopsys Design Compiler(DC)综合工具的完整流程。内容涵盖从系统环境准备、软件安装、许可证配置到实战综合的全过程,并针对DC综合工具在安装和运行中常见的报错问题提供了具体的解决方案,帮助数字IC设计初学者快速搭建稳定的EDA学习环境。

weixin_29159441的博客 257

hadoop-3.0.0 配置中的 yarn.nodemanager.aux-services 项

在hadoop-3.0.0-alpha4 的配置中,yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”,但如果在hadoop-2.2 中继续使用这个值,NodeManager 会启动失败,在logs/yarn-biadmin-nodemanager-hostname.log里会报如下的错: java.lang.IllegalArgumen...

weixin_30778805的博客 3759

CREO5.0二次开发+VS2019配置详解

CREO5.0+VS2019配置更新 一、CREO5.0 配置 二、Visual Studio 2019配置 新建MFC DLL项目 文件>新建>项目,选择MFC DLL,如下图所示 项目名称CREO1 2、配置设置 打开项目属性: 配置资源管理器设置: 设置包含目录、库目录(根据自己CREO的安装位置来设置): 包含目录: 库目录: 预处理器设置: 把下面文字复...

liuyi2517的博客 1万+

解析Hadoop新一代MapReduce框架Yarn

更快、更强——解析Hadoop新一代MapReduce框架Yarn 摘要:本文介绍了Hadoop 自0.23.0版本后新的MapReduce框架(Yarn)原理、优势、运作机制和配置方法等;着重介绍新的Yarn框架相对于原框架的差异及改进。 编者按:对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不...

iteye_3276的博客 504

【Vite+Vue3+TS】基于Vite+Vue3+TypeScript+ESLint+Prettier+Stylelint搭建项目(亲测超详细)

结合了很多项目和文章,总结一篇项目构建的笔记。 温馨提示:文章末尾记录了我在搭建项目过程中,遇到的一些问题和解决办法 ~

aDiaoYa_的博客 4231

Linux服务器 离线安装oracle

Linux服务器 离线安装oracle

xie_bro的博客 4256

Hadoop YARN配置参数剖析

本文部分转自 Hadoop YARN配置参数剖析(1)—RM与NM相关参数 本文部分转自 Hadoop YARN中内存的设置 一 ResourceManager 相关配置参数 1 通信配置参数 2 调度器配置参数 3 内存和 CPU 配置参数 二 NodeManager 相关配置参数 1 内存与 CPU 配置参数 1 日志配置参数 3 运行配置参数 三 Hadoop YARN 中

Zephyr's Blog 5178

STM32G474串口调试避坑指南:从CubeMX配置到中断收发,手把手教你搞定USART1

本文详细解析了STM32G474串口调试中的常见问题,从CubeMX配置到中断收发,提供USART1的避坑指南。涵盖时钟树同步、GPIO模式选择、中断接收逻辑、波特率偏差修正等关键点,帮助开发者高效解决串口通讯难题,提升嵌入式开发效率。

weixin_29191081的博客 210

spark on yarn

说明这篇文章记录下 spark提交左右在yarn上运行hadoop配置主要配置yarn-site.xml文件,我们目前使用mapreduce_shuffle,而有些公司也增加了spark_shuffle 只使用mapreduce_shuffle<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuf

stark_summer的专栏 2万+

Android SurfaceFlinger——概述(一)

对于系统渲染流程的理解是指导 SurfaceFlinger 设计的核心思想,从 Android 4.1 一直到 Android 9.0 都没有太大的变化。只要抓住这五个核心思想,我们阅读 SurfaceFlinger 的难度就会下降不少。下面看一下 SurfaceFlinger 的体系和 Skia 以及 View的绘制流程的关系。framework 面向开发者所有的 View 是便于开发的控件,里面仅仅只是提供了当前 View 各种属性以及功能。

小旭的专栏 2584

基于 Qt C++ 开发一套西门子量子测量系统的控制与数据采集平台

sensorIdCombo->addItems({"QTS-100-001 (温度)", "QPG-200-001 (压力)", "QDS-300-001 (位移)"});precisionTable->setHorizontalHeaderLabels({"传感器ID", "类型", "标称精度", "实际精度", "校准状态"});QWidget *dispWidget = createSensorWidget("量子位移", "mm (±1μm)", 50.0, 0.001);// 传感器状态更新。

寒寒豆豆软件公司的博客 253

YARN资源调度框架搭建和应用

一、产生的背景 1、MapReduce1.0存在的问题 ,架构如图所示: 1)单点故障:JobTracker只有一个,JobTracker挂了整个集群就没办法使用了; 2)一个人干的活太多:JobTracker负责接收来自各个JobTracker节点的RPC请求,压力会很大,限制了集群的扩展;随着节点规模增大之后,JobTracker就成为一个瓶颈; 2、资源利用率和运维成本 1)在没有YARN...

zenglaoshi的博客 417

自动化测试与AI的结合应用

自动化测试,人工智能,机器学习,深度学习,测试用例生成,缺陷预测,测试优化 1. 背景介绍 在软件开发领域,自动化测试已成为不可或缺的一部分,它可以提高测试效率、降低测试成本,并确保软件质量。然而,传统的自动化测试方法往往依赖于人工编写的测试用例,这不仅耗时费力,而且难以应对复杂软件

AI架构师小马 2247

hadoop配置_Hadoop配置yarn

yarn的英文意思是yet another resource negotiator 即另一种资源协调器。它主要是分为Resource Manager、node manager 、container等部分构成RM(resource manager)resource manager是一个资源的管理的器,它主要由两部分组成,第一部分就是scheduler调度器,第二部分application manag...

weixin_39609718的博客 213

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Hadoop启动Yarn

1,首先进入hadoop目录:cd /usr/local/hadoop 2,修改配置文件 mapred-site.xml,这边需要先进行重命名:      mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml      然后修改内容:gedit ./etc/hadoop/mapred-site.xml  ...

Swt_BigData的博客 1539

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

hadoop 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster

这个是 因为 在 yarn 执行MapReduce的使用 找不到 hadoop 的classpath 一般在 shell中输入 hadoop classpath 输出为 /etc/hadoop/conf:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop/lib/*:/o...

老猿说说专栏 2495

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

nodemanage无法启动的问题,查看日志报错The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is i

一、 hadoop版本2.7.2 hdfs启动正常 主节点启动正常 从节点输入jps查看进程,发现少了datanode(刚启动就被关闭) 输入日志目录: /export/servers/hadoop-2.7.2/logs, 查看日志 日志报错信息:The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is...

xiaomi0329的博客 685

七、hadoop mapreduce使用yarn在集群中运行(该文章还需修改)

需要在mapred-site.xml文件中配置: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </confi...

祁东握力的博客 449

hadoop2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid

转:http://blog.csdn.net/bamuta/article/details/12995139 解决办法 : 在1个网站上找到了解决方法,(网络忘了没记)urg, my copy/paste was botched up but hopefully this still makes sense. The value mapreduce.shuffle is now mapredu...

weixin_34198881的博客 237

启动Hadoop 2.8.5遇到的错误:The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is inval...

问题: yarn-site.xml配置: <?xml version="1.0"?> <configuration> <property> <name>yarn.resourcemanager.address</name> <value...

weixin_30752377的博客 299

配置yarn方法

1.etc/hadoop/mapred-site.xml: <configuration> <property> <name>mapreduce.framework.name</name> --框架配置 <value>yarn</value> </property> <property> <name>mapreduce

m0_64016142的博客 2012

Hadoop搭建yarn教程

1.yarn的配置在搭建Hadoop的过程中已经配好,所以启动即可。 详细配置如下: (1)在/opt/hadoop/hadoop-3.3.0/etc/hadoop上配置mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> (2)在/opt/hadoop/hadoop-3.3

方法属性类,一个都不会 424

hadoop2.8配置_hadoop2.8安装教程

vim etc/hadoop/yarn-site.xml在中加入yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.auxservices.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.addresss20...

weixin_39553753的博客 111

配置hadoop yarn高可用

前提 三台服务器分别为hadoop01,hadoop02,hadoop03且已经在hosts中配置 三台服务器网络连通 三台服务器都已经安装好jdk和zookeeper 1.配置yarn-site.xml 进入配置文件目录: cd ./hadoop-3.1.2/etc/hadoop 修改配置文件: vi yarn-site.xml <configuration> &lt...

weixin_44928809的博客 582
上一篇: MapReduce的input为包含小文件的zip压缩文件的相关实验
下一篇: 利用 Java API 监控 Zookeeper 的结点变化
坡上的云
博客等级 码龄20年 50粉丝 30原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值