eclipse提交mr到hadoop集群后任务卡住不执行

最新推荐文章于 2022-12-11 12:08:19 发布

beat_it

最新推荐文章于 2022-12-11 12:08:19 发布

阅读量399

点赞数

分类专栏： hadoop 文章标签： hadoop 127.0.0.1:8030 Retrying org.apache.hadoop.ipc.Client

hadoop 专栏收录该内容

14 篇文章

订阅专栏

本文解决使用Eclipse远程提交MapReduce任务到Hadoop集群时出现的任务卡住问题，通过配置相关端口解决了连接Hadoop集群的错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用eclipse远程提交mr到hadoop集群后，mr卡住后一直不执行，在控制台查日志发现错误如下：

org.apache.hadoop.ipc.Client: Retrying connect to server:127.0.0.1:8030. Already tried 0time(s).org.apache.hadoop.ipc.Client: Retrying connect to server:127.0.0.1:8030. Already tried 1time(s).org.apache.hadoop.ipc.Client: Retrying connect to server:127.0.0.1:8030. Already tried 2time(s).

果断把跟8030有关的端口配置到Configuration 里，问题解决，Configuration配置如下：

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://master190:9000/");
conf.set("mapreduce.framework.name", "yarn");
conf.set("yarn.resourcemanager.address", "master190:8032");
conf.set("yarn.resourcemanager.scheduler.address", "master190:8030");
conf.set("hbase.zookeeper.quorum", "master190,slave191,slave192,slave193");

注：错误原因是没有配置红色部分