Hadoop安装集群卡在INFO mapreduce.Job: Running job: job_1588335870581_0001

最新推荐文章于 2022-05-21 23:07:07 发布
最新推荐文章于 2022-05-21 23:07:07 发布
阅读量824 收藏
点赞数 1
文章标签： hadoop mapreduce hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_56530996/article/details/124696701
版权
本文提供了如何检查并修改Windows和Linux环境下Hadoop集群的主机名，包括定位hosts文件和hostname文件的操作步骤，以及重启集群和运行Wordcount命令的必要步骤，旨在帮助读者解决主机名对应问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

解决办法：

  1. 查看在Windows上的hosts中配置的ip和主机号
  2. 通常在C:\Windows\System32\drivers\etc下
  4. 进入linux的hostname文件 
    1. vim /etc/hostname

将里面的其他东西删掉，将 相应的ip地址对应的主机名

添加进去

重启Hadoop集群

在执行Wordcount相对应的命令

解决Hadoop运行jar包时一直卡在: INFO mapreduce.Job: Running job位置的问题
weixin_44177758的博客
05-06 7897
今天在Hadoop集群运行jar包时一直卡在INFO mapreduce.Job: Running job这个位置，于是上网查了一下，找到了一些解决方案： 下面是卡住都得位置 ： 首先是在我在yarn-site.xml中加 <property> <name>yarn.nodemanager.resource.memory-mb</name> &...
2021-12-01 15:48:44,657 INFO mapreduce.Job: map 0% reduce 0% 2021-12-01 15:48:53,757 INFO mapreduce
一亿年开发经验
12-01 492
运行wordcount测试LZO压缩的时候报了如下错误 2021-12-01 15:48:44,641 INFO mapreduce.Job: Job job_1638343302287_0001 running in uber mode : false 2021-12-01 15:48:44,657 INFO mapreduce.Job: map 0% reduce 0% 2021-12-01 15:48:53,757 INFO mapreduce.Job: Task Id : attempt_1638
Hadoop-2.7.3集群卡在INFO mapreduce.Job: Running job: job_1457182697428_0001
SCGH_Fx的专栏
03-07 5359
该篇文章是在完全分布式的前提下。 看了网上的一些说法，主要有2种方法： 方法一： 说的是修改yarn-site.xml配置文件。 其主要属性如下： （1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN
MapReduce任务运行到running job卡住
Data & Analysis
01-31 726
一：如下异常： Starting Job 16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:8032 16/06/30 01:15:35 INFO input.FileInputFormat: Total input paths to process : 2 ...
Hadoop程序运行一直卡在INFO mapreduce.Job: Running job: job_1578474456005_0034
qq_38327117的博客
01-12 2275
以前Hadoop集群运行jar包都没问题的，但是昨天突然出现了这个问题，网上查阅了很多，大部分说是配置的问题（yarn-site.xml、mapred-site.xml配置错误），但是既然我的环境以前能运行程序就应该不是环境的问题，于是查阅了很多终于解决了问题，希望对各位有所帮助： 有太多任务在排队，需要 1 用hadoop job -list查看正在运行的job 2 用hadoop jo...
hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_1403905542893_0004
chenjiale0102的博客
12-16 5230
执行mapreduce没报错，可是任务运行到running job就卡住在 INFO mapreduce.Job: Running job: job14039055428930004 解决方法 mapred-site.xml下将 &lt;property&gt;        &lt;name&gt;mapreduce.framework.name&lt;/name&gt;        ...
mapreduce任务卡在INFO mapreduce.Job: Running job
bigtiger1648的专栏
10-31 1348
http://123.123.123.123:50070/logs/ 确定日志中无报错信息，有的话就先解决。 如 上述措施还不顶用 将mapred-site.xml中 <property> <name>mapreduce.framework.name</name> <value&gt...
2025-03-11 09:04:45,953 INFO mapreduce.Job: Running job: job_1741683861844_0001 2025-03-11 09:04:55,114 INFO mapreduce.Job: Job job_1741683861844_0001 running in uber mode : false 2025-03-11 09:04:55,115 INFO mapreduce.Job: map 0% reduce 0%
03-12
好的，我现在需要帮助用户解决关于Hadoop MapReduce作业卡在map 0% reduce 0%的问题。首先，用户提供了几个引用资料，我需要仔细分析这些引用中的信息，并结合自己的知识来给出详细的解答。 首先，引用[1]和[2]都...
安装sqoop INFO mapreduce.Job: Job job_local16268663_0001 running in uber mode : false 2023-06-07 14:42:05,241 INFO mapreduce.Job: map 0% reduce 0% 2023-06-07 14:42:05,244 INFO mapreduce.Job: Job job_local16268663_0001 failed with state FAILED due to: NA 2023-06-07 14:42:05,260 INFO mapreduce.Job: Counters: 8
06-08
这个错误信息也非常简略，无法直接判断具体错误原因。但是根据错误信息可以判断是 MapReduce 任务执行失败了...另外，您可以尝试重新编写 MapReduce 程序代码、检查 Hadoop 集群状态、或者检查输入数据格式是否正确等。
[root@hadoop01 jars]# hadoop jar film.jar CleanDriver /film/input /film/outputs/cleandata 25/04/02 17:25:34 INFO client.RMProxy: Connecting to ResourceManager at hadoop01/192.168.20.20:8032 25/04/02 17:25:35 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this. 25/04/02 17:25:35 INFO input.FileInputFormat: Total input paths to process : 2 25/04/02 17:25:35 INFO mapreduce.JobSubmitter: number of splits:2 25/04/02 17:25:35 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1743583799083_0005 25/04/02 17:25:35 INFO impl.YarnClientImpl: Submitted application application_1743583799083_0005 25/04/02 17:25:35 INFO mapreduce.Job: The url to track the job: http://hadoop01:8088/proxy/application_1743583799083_0005/ 25/04/02 17:25:35 INFO mapreduce.Job: Running job: job_1743583799083_0005 25/04/02 17:25:41 INFO mapreduce.Job: Job job_1743583799083_0005 running in uber mode : false 25/04/02 17:25:41 INFO mapreduce.Job: map 0% reduce 0% 25/04/02 17:25:49 INFO mapreduce.Job: map 100% reduce 0% 25/04/02 17:25:55 INFO mapreduce.Job: map 100% reduce 17% 25/04/02 17:26:01 INFO mapreduce.Job: map 100% reduce 33% 25/04/02 17:26:04 INFO mapreduce.Job: map 100% reduce 50% 25/04/02 17:26:05 INFO mapreduce.Job: map 100% reduce 67% 25/04/02 17:26:06 INFO mapreduce.Job: map 100% reduce 100% 25/04/02 17:26:06 INFO mapreduce.Job: Job job_1743583799083_0005 completed successfully 25/04/02 17:26:06 INFO mapreduce.Job: Counters: 50 File System Counters FILE: Number of bytes read=36 FILE: Number of bytes written=982026 FILE: Number of read operations=0 FILE: Number of large read operations=0 FILE: Number of write operations=0 HDFS: Number of bytes read=17347 HDFS: Number of bytes written=0 HDFS: Number of read operations=24 HDFS: Number of large read operations=0 HDFS: Number of write operations=12 Job Counters Killed reduce tasks=1 Launched map tasks=2 Launched reduce tasks=6 Data-local map tasks=2 Total time spent by all maps in occupied slots (ms)=9878 Total time spent by all reduces in occupied slots (ms)=55847 Total time spent by all map tasks (ms)=9878 Total time spent by all reduce tasks (ms)=55847 Total vcore-milliseconds taken by all map tasks=9878 Total vcore-milliseconds taken by all reduce tasks=55847 Total megabyte-milliseconds taken by all map tasks=10115072 Total megabyte-milliseconds taken by all reduce tasks=57187328 Map-Reduce Framework Map input records=144 Map output records=0 Map output bytes=0 Map output materialized bytes=72 Input split bytes=219 Combine input records=0 Combine output records=0 Reduce input groups=0 Reduce shuffle bytes=72 Reduce input records=0 Reduce output records=0 Spilled Records=0 Shuffled Maps =12 Failed Shuffles=0 Merged Map outputs=12 GC time elapsed (ms)=535 CPU time spent (ms)=2820 Physical memory (bytes) snapshot=1039224832 Virtual memory (bytes) snapshot=16491360256 Total committed heap usage (bytes)=453517312 Shuffle Errors BAD_ID=0 CONNECTION=0 IO_ERROR=0 WRONG_LENGTH=0 WRONG_MAP=0 WRONG_REDUCE=0 File Input Format Counters Bytes Read=17128 File Output Format Counters Bytes Written=0
最新发布
04-03
首先，用户运行的是`hadoop jar film.jar CleanDriver /film/input /film/outputs/cleandata`这个命令，看起来是在处理电影数据，进行数据清洗。 首先看日志结构。开头是连接到ResourceManager，说明YARN集群正常...
INFO mapreduce.Job: Running job: job_1526212718157_0001
tian5753的博客
05-13 2365
在 执行 hadoop jar命令时 ，出现 INFO mapreduce.Job: Running job:解决：nodemanager没有启动             yarn-daemon.sh start nodemanager这个问题害得我整了一天，我遇到的这个问题是这样解决的。...
Hadoop——程序执行卡在running job的问题
简简单单记录
04-02 2408
一、问题描述 今天想要测试下hadoop的wordcount程序，但是启动后一直卡在running job那里。于是想测试之前测试通过的pi计算程序是否可运行，结果发现也不可以了。但是之前刚配置完明明是可以运行的，于是开始各种百度，结果还是没能解决，最后是在访问了错误提示中显示的官网帮助才找到的。 一直卡在running job时，在yarn-site.xml加入了以下内容后终于能够往下执行了 ...
Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
u013058936的博客
02-10 2253
尝试过网上各种解决方案无效，最后将虚拟机设置的处理器的内核数量从1改为8解决。 ============================================================================= 后来做的修改； 2、修改Hadoop home下的/etc/hadoop下的capacity-scheduler.xml中的maximum-a...
hadoop下mapreduce运行时卡在 Running Job不动的解决办法
Appreciate(欣赏)
05-21 1787
在安装好Hadoop集群后，运行mapreduc。 到如下的地方就卡住，要不到图二卡住，namenode和datanode，nodemanager，recemanager都启动正常，刚开始以为是hadoop3.2.3的版本问题。后来换成hadoop3.1.3还是不行。 解决方案： 方法1.在mapred-site.xml文件将 <property> <name>mapreduce.framework.name</name> <value
hadoop执行mapreduce一直卡在mapreduce.Job: Running Job
weixin_43719616的博客
05-11 1818
其实根本原因就是内存不够了。啊啊啊啊啊啊我真的好气，做大数据真的需要一个性能强大的电脑，我电脑开两个虚拟机就已经撑死了cpu都占了90%了，如果开三个的话就会卡死。呜呜呜呜呜呜呜呜好伤心，小王什么时候才能买到MacBook Pro。 鸣谢 感谢这位博主的博客以及他的评论，再次谢谢！ 解决问题 1.去修改yarn-site.xml（修改的内容注释为“这是新加的”） <configuration> <!--指定MR走shuffle --> <pro
MapReduce运行卡住，一直停留在 Running job
m0_55901666的博客
12-17 4767
MapReduce运行卡住，一直停留在 Running job MapReduce 运行出错
日常问题——hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_1595222530661_0003
栗筝i的博客
07-20 4509
执行mapreduce没报错，可是任务运行到running job就卡住在 INFO mapreduce.Job: Running job: job_1595222530661_0003 解决方法 mapred-site.xml下将 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 改成 <
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值