Hadoop运行MR程序报错

YARN与HistoryServer启动问题

最新推荐文章于 2024-08-12 10:33:22 发布

原创最新推荐文章于 2024-08-12 10:33:22 发布 · 848 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

Hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文解决Hadoop中YARN未启动导致的Client.RMProxy连接端口8032失败问题，以及Hadoop历史服务器（HistoryServer）未启动导致的端口10020连接失败问题。提供了start-yarn.sh启动YARN服务和mr-jobhistory-daemon.sh starthistoryserver启动历史服务器的具体步骤。

Client.RMProxy注意端口号
如果是8032，很可能是你的yarn没有启动。

17/11/27 14:08:50 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
17/11/27 14:08:51 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
17/11/27 14:08:52 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

解决方案：

start-yarn.sh

如果是10020可能是hadoop的historyserver服务没有启动。

解决方案：启动historyserver：

mr-jobhistory-daemon.sh start historyserver

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

我是一只小小小小小鸟

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hadoop用微软运行库

10-12

总结起来，"Hadoop用微软运行库"是一个针对Windows环境下Hadoop运行时问题的解决方案，特别是解决了winutils.exe由于缺失dll文件而产生的错误。通过提供必要的C运行时库，这个库确保了Hadoop在Windows系统上的平稳...

hadoop-mr运行报错记录

Cheng_May的博客

11-19

397

java.lang.ClassCastException: class com.atguigu.reducer.groupomparator.OrderBean at java.base/java.lang.Class.asSubclass(Class.java:3769) at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887) at org.apache.hadoop.mapred.M...

参与评论您还未登录，请先登录后发表或查看评论

hadoop MR 任务报错 "Error: java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io"...

weixin_30666401的博客

08-17

503

错误原文分析文件操作超租期，实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是 4096，该参数取值范围[1 to 8192] hado...

hadoop集群运行MR程序、mahout程序

sxsAffable的博客

05-22

759

hadoop集群运行MR程序1. 启动集群2. 上传程序资源到hdfs3. 修改程序文件路径4. 安装mahout5. 提交程序到集群本教程在配置完hadoop，可以正常运行的前提下进行 1. 启动集群 # 启动hdfs sbin/start-dfs.sh # 启动yarn sbin/start-yarn.sh 使用jps命令，看到如下图所示，启动成功。 2. 上传程序资源到hdfs 第一步：把文件上传到服务器。第二步：把文件上传到hdfs集群。 bin/hadoop dfs -put

4、利用hadoop自带的mr 示例测试运行任务失败: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRA...

Norni的博客

09-16

336

hadoop 启动or运行mr错误

weixin_30505043的博客

02-24

112

hadoop 错误：Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured. hadoop 错误：java.lang.IllegalArgumentException: Does not contain a val...

Hadoop运行job程序报错 exitCode=255

王树伦的博客

08-03

3582

hive查询sql使用order by的时候报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask的错误， http://ip:10002/logs/hive.log 查看hivelog错误堆栈 2019-08-03T15:53:32,545 ERROR [HiveServer2-Background-P...

Hadoop3.2.0运行wordcount程序报错Please check whether your etc/hadoop/mapred-site.xml contains the below

QYHuiiQ

10-12

1614

将修改后的文件同步到集群中的其他节点上，不需要重启集群，重新运行原来自己要执行的程序即可正常执行。

解决Windows下Hadoop本地运行报错的步骤和方法

这一步骤是为了解决在Windows上本地运行MapReduce（mr）任务时可能出现的报错问题。系统目录是Windows系统用来存放各种系统文件的地方，包括系统运行所必需的动态链接库文件。将Hadoop的库文件复制到这个目录，有助...

Hadoop运行MR出现此问题：Unauthorized request to start container

Rocky

08-17

633

问题执行wordcount例子程序，出现以下错误： 18/08/18 22:40:43 INFO client.RMProxy: Connecting to ResourceManager at admin1/192.168.1.21:8032 18/08/18 22:40:44 WARN mapreduce.JobResourceUploader: Hadoop command-line ...

记一次MR报错：Container is running beyond physical memory limits...

楠先生

09-04

1397

小菜鸟的个人博客已经正式上线且对外开放啦… 博客访问地址：小菜鸟的大梦想欢迎各位同学扫码关注本人公众号 ↓↓↓ 更多优质内容将首发公众号背景较早之前项目组一次新需求上线时，需要初始化Hive中某张表的全量历史数据。该表由于历史原因导致ETL处理的时候，2015年前的数据产出文件（定长压缩文件）时为同一个ETL日期，也就是这张表的分区日期，由于涵盖多年的数据，并且数据文件较大又分为多个日期，数据存放Hive时需要按照其真实业务日期进行重分区。线上集群同时有部分Spark任务存在，所以决定采.

hadoop 一些基本问题

weixin_33800593的博客

03-09

174

2019独角兽企业重金招聘Python工程师标准>>> ...

bash: mr-jobhistory-daemon.sh: command not found...

qq_40938267的博客

11-24

2645

你看的教程是旧的，新版的hadoop启动脚本放在sbin下。start-all.sh已经逐渐被废弃，采用新的启动脚本： 1 2 3 4 5 sbin/hadoop-daemon.sh --script hdfs start datanode sbin/hadoop-daemon.sh --script hdfs start...

使用虚拟机以及安装hadoop集群时所遇到的问题和解决

weixin_51775815的博客

06-21

5714

安装hadoop集群时所遇到的问题当我执行下面代码时发现，只有namenode和secondarynamenode启动起来了，说明出现错误，于是改用另一个启动hadoop的代码start-all.sh，发现成功了，resourcemanager启动。最后单独执行mr-jobhistory-daemon.sh start historyserver，终于四个都启动起来。但是发生这个错误的原因始终不太明白。执行： start-dfs.sh start-yarn.sh mr-jobhistory-daemon

MR孟德尔随机化报错处理