hadoop运行自带wordcount卡住：INFO mapreduce.Job:job_1585916162475_0005

最新推荐文章于 2024-05-25 16:39:17 发布
原创 最新推荐文章于 2024-05-25 16:39:17 发布 · 1.2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #大数据

在搭建好的Hadoop集群上运行WordCount程序时遇到卡住问题，错误信息显示为INFO mapreduce.Job:job_1585916162475_0005。通过检查发现所有节点的tmp文件夹存在问题，通过修改core-site.xml配置文件，指定新的tmp路径后，问题得到解决，所有节点恢复正常运行。

hadoop运行自带wordcount卡住：INFO mapreduce.Job:job_1585916162475_0005

##本人hadoop小白，在搭建好hadoop集群后运行hadoop自带wordount程序
在这里插入图片描述在hadoop文件夹中创建wordcount.txt文件，内容不限，一些简单的英文即可
这是我在网上摘得一段话1.启动hadoop
2.进入hadoop目录，运行下面指令
$hadoop fs -mkdir /input
$hadoop fs -ls /input
$hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount /input /output
3.发生卡住问题
在这里插入图片描述4.查看hadoop job列表
$hadoop job -list
在这里插入图片描述
程序没有运行
5.浏览器打开 master:8088（master是我的主机名，8088是端口）

最低0.47元/天 解锁文章
BigHui129
关注
Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法
NBA首席形象大使坤坤
05-22 3873
第一种：配置问题 这是别人的图片，据楼主排查解决是因为hosts配置问题？？？我想知道hosts没配置好，Hadoop是怎么撑到MR的… 现象：各种无法运行、启动 解决办法： 1、修改日志级别 export HADOOP_ROOT_LOGGER=DEBUG,console 查看下详细信息，定位到具体问题解决 第二种：服务器问题 **现象：**运行到job时卡住不动 **原因：**服务器配置低下，内存小或磁盘小 **解决办法：**修改yarn.site.xml配置 <!--每个磁盘的磁盘利用率百分比
简单的记录一下，Hadoop执行wordcount卡在job running ,以及hive进行mapreduce时意外被kill的情形。
weixin_54251487的博客
12-09 889
hadoop 默认检查磁盘状况，一旦超过默认的90%就会导致数据节点拒绝执行mapreduce，通过在yarn-site.xml 设置更大的阈值，延迟节点拒绝mapreduce的情况。3.更改 yarn-site.xml 里面的运行内存。上面的办法我都有试过，虽然没有解决问题，但并不能说是错的，可以尝试，如果没有解决的话可以试试下面的办法。出现其中任何一个问题，另一个问题大概率也会出现，也就是说二者出现问题的原因是一样的。一般来说，到这一步其他的配置因该是没有问题的。可以重起集群，不重启也能立即生效。
hadoop wordcount卡住
zhang2010kang的专栏
04-29 3764
安装完hadoop后，运行hadoop自带的程序wordcount时，出现卡住的问题，等再长的时间也无法计算完。
Hadoop运行wordcount时job卡住
ae5555的专栏
03-27 2817
若排除配置没有问题，并且提示有无法加载本地库的警告，则是版本问题。hadoop自带的native库(版本)位数与本机(版本)位数不同。 hadoop2.4以及之前的版本，自带的native库是32位的，必须匹配32位的OS和JVM。
hadoop中运行wordcount时卡住不动
chuanjiaoye5017的博客
09-11 1892
hadoop中运行wordcount时卡住不动 解决方案： 首先保证各个节点和namenode配置一致，以及hosts中的ip要设置好，ip修改后记得使用source命令或者重启使其生效，启动hadoop后要使其离开安全模式， bin/hadoop dfsadmin -safemode ...
hadoop2.7.x运行wordcount程序卡住在INFO mapreduce.Job: Running job:job _1469603958907_0002
IT_NEU_Lee的博客
09-15 2400
hadoop 运行wordcount出现卡死的状况  运行不下去    参考了下面的博客得到了解决 : https://www.cnblogs.com/xiangyangzhu/p/5711549.html
【Hadoop】Hadoop运行Mapreduce程序一直卡在mapreduce.Job: Running job: job_1617678192164_0001
HR的博客
04-06 1959
在运行WordCount的时候一直卡在上述位置，去网上查找结局的方法，说是是因为yarn管理的内存资源不够了，于是去修改yarn-site.xml文件 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value> </property> <property> <name>yarn.sched.
2021-12-01 15:48:44,657 INFO mapreduce.Job: map 0% reduce 0% 2021-12-01 15:48:53,757 INFO mapreduce
一亿年开发经验
12-01 516
运行wordcount测试LZO压缩的时候报了如下错误 2021-12-01 15:48:44,641 INFO mapreduce.Job: Job job_1638343302287_0001 running in uber mode : false 2021-12-01 15:48:44,657 INFO mapreduce.Job: map 0% reduce 0% 2021-12-01 15:48:53,757 INFO mapreduce.Job: Task Id : attempt_1638
oot@GR001:/opt/hadoop/etc/hadoop# # 确认文件已上传 root@GR001:/opt/hadoop/etc/hadoop# hadoop fs -ls /input Found 3 items -rw-r--r-- 1 root supergroup 25 2025-11-29 20:36 /input/test1.txt -rw-r--r-- 1 root supergroup 19 2025-11-29 20:36 /input/test2.txt -rw-r--r-- 1 root supergroup 23 2025-11-29 20:36 /input/test3.txt root@GR001:/opt/hadoop/etc/hadoop# hadoop fs -cat /input/test1.txt hello world hello hadoop root@GR001:/opt/hadoop/etc/hadoop# hadoop jar $(find $HADOOP_HOME -name "hadoop-mapreduce-examples*.jar" | head -1) wordcount /input /output 25/11/29 20:37:03 INFO client.RMProxy: Connecting to ResourceManager at GR001/192.168.10.132:8032 25/11/29 20:37:04 INFO input.FileInputFormat: Total input paths to process : 3 25/11/29 20:37:05 INFO mapreduce.JobSubmitter: number of splits:3 25/11/29 20:37:05 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1764418940485_0003 25/11/29 20:37:05 INFO impl.YarnClientImpl: Submitted application application_1764418940485_0003 25/11/29 20:37:05 INFO mapreduce.Job: The url to track the job: http://GR001:8088/proxy/application_1764418940485_0003/ 25/11/29 20:37:05 INFO mapreduce.Job: Running job: job_1764418940485_0003 25/11/29 20:37:14 INFO mapreduce.Job: Job job_1764418940485_0003 running in uber mode : false 25/11/29 20:37:14 INFO mapreduce.Job: map 0% reduce 0% 25/11/29 20:37:25 INFO mapreduce.Job: map 100% reduce 0% reduce进度一直是0%
最新发布
11-30
在Hadoop MapReduce中，reduce进度始终为0%是一个常见问题，通常表示reduce任务未启动或卡住，原因可能包括**资源不足、map阶段未完成、配置错误或网络问题**等。根据您提供的引用和Hadoop最佳实践，我推荐以下逐步...
Hadoop之MapReduce01【自带wordcount案例】
2301_82241675的博客
05-25 645
这些 MapReduce程序的代码都在hadoop-mapreduce-examples-2.6.4.jar包里,这个jar包在 hadoop安装目录下的/share/hadoop/mapreduce/目录里。Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析应用”的核心框架,Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 hadoop 集群上.| MapReduce | 分布式计算系统 |
hadoop运行wordcount实例
05-30
包含配置hadoop过程中遇到的一些问题的解决办法和成功运行wordcount实例的步骤
MapReduce运行Wordcount时一直卡在INFO mapreduce.Job: Running job，web查看一直处于accepted阶段
qq_38713915的博客
07-26 773
这个问题困扰了我好久，查了很多资料，终于解决了。 后来在https://blog.csdn.net/dai451954706/article/details/50464036看到了，就马上在yarn-site.xml中加了: 同时删除了mapred-site.xml里的 可能跟这个没有关系，因为我自己是配置了yarn的。 好激动啊，感谢论坛的大佬们，头都快秃了，终于能成功运行了 job运行成功 ...
【Hadoop】在笔记本虚拟机上部署Hadoop集群后运行Wordcount程序报错Connection refused
Louis Lee's Blog
03-02 1058
在笔记本虚拟机上部署Hadoop集群后运行Wordcount程序报错Connection refused
运行 bin/hadoop jar hadoop-*-examples.jar wordcount报错
Longerandlonger的专栏
02-17 4687
报错内容： Exception in thread "main" java.io.IOException: Error opening job: hadoop-*-examples.jar ... 原因：hadoop的版本更新了，hadoop-*-examples.jar 这个文件更名为 hadoop-examples-*.jar了，这里的*代表版本。这个jar文件就在hadoo
hadoop之hadoop-mapreduce-examples-2.7.0.jar
热门推荐
yibei8811的专栏
07-06 1万+
前2篇blog中测试hadoop代码的时候都用到了这个jar，那么很有必要去分析一下源码。 分析源码之前很有必要先写一个wordcount，代码如下 package mytest; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;
hadoop下提交jar包执行时连接失败异常或连接被拒绝
weixin_43021950的博客
11-07 3743
提交jar包执行时连接失败异常或连接被拒绝 错误提示为: Exception in thread &amp;quot;main&amp;quot; java.net.ConnectException: Call From mini02/192.168.91.4 to mini02:8032 failed on connection exception: java.net.ConnectException: Connection r...
【Hadoop】MapReduce报错failed on connection exception: java.net.ConnectException: 拒绝连接
微笑丶1998的博客
04-03 4484
问题描述 执行MapReduce处理HDFS文件时报错，failed on connection exception: java.net.ConnectException: 拒绝连接。 报错内容 INFO client.RMProxy: Connecting to ResourceManager at /192.168.0.110:8032 java.net.ConnectException: C...
hadoop中运行map-reduce程序时，java.net.connectionException
一路向北
10-11 2670
about云开发 标题: mapreduce报错 java.net.ConnectException: Connection refused [打印本页] 作者: Wyy_Ck    时间: 2016-10-31 15:13标题: mapreduce报错 java.net.ConnectException: Connection refused弄了半天，系统是centos 7，本想执行一个测试...
bin/hadoop jar hadoop-*-examples.jar wordcount 路径错误。
谭运华的专栏
06-12 8411
初学hadoop，准备在linux上单机运行wordcount例子，结果初学错误。 根据例子第一次运行hadoop，运行命令“bin/hadoop jar hadoop-*-examples.jar wordcount”，结果发生了异常，如下：        Exception in thread "main" java.io.IOException: Error opening job
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值