MapReduce任务运行到running job卡住

最新推荐文章于 2022-08-16 16:41:02 发布
最新推荐文章于 2022-08-16 16:41:02 发布
阅读量5.8k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大数据挖掘与大数据应用案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012965373/article/details/52037968
博客内容讲述了MapReduce任务在运行过程中遇到的问题，任务状态停留在'running job'。异常可能是由于集群磁盘空间不足或者YARN配置不完整导致。解决方案包括检查集群磁盘空间并调整YARN配置，具体涉及添加资源管理器主机名、启用日志聚合等设置，并通过重启集群使更改生效。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一：如下异常：

Starting Job

16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:8032
16/06/30 01:15:35 INFO input.FileInputFormat: Total input paths to process : 2
了解本专栏 订阅专栏 解锁全文
执行mapreduce没报错，可是任务运行到running job就卡住在INFO mapreduce.Job: Running job: job_1653745295904_0001
ssn520的博客
05-28 880
执行mapreduce没报错，可是任务运行到runningjob就卡住在INFO mapreduce.Job: Running job: job_1653745295904_0001 使用官方部署的正则进行测试 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+' 也是一样，运行到INFO mapreduce.Job: Running job:.
Hadoop：INFO mapreduce.Job: Running job
weixin_45532984的博客
03-25 5049
（-1）把Yarn运行的内存搞成8g，4g也行，如果是开的虚拟机，这个好办，如果是用云服务器搭建的，那就换个运存大点的服务器，不想换那就参照（0），优快云上最吊的。 （0）优快云最迪吊解决办法，涉及到本质，其他都是不让MapReduce运行在Yran上，这个是真正修改了Yran与运行所需要的内存包括物理内存和虚拟内存 Hadoop提交MapReduce任务后卡在mapreduce.Job: Running job_阿团团的博客-优快云博客 （1）查看所有的结点的NodeManager开启情况
hadoop运行到mapreduce.job: Running job后停止运行
Zhang Chaokun
10-13 8249
版本信息：Hadoop2.7.1, openjdk 8，运行在VirtualBox 5.0.6的Ubuntu 15.04上，基本上是目前（2015.10.13）最新的版本； 问题，在伪分布环境下，运行 bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output'dfs[a-z
MapReduce执行任务时卡在mapreduce.Job: Running Job这一步该如何解决
热门推荐
sinat_33769106的博客
07-03 1万+
问题描述：在centos7系统搭建的伪分布式Hadoop基础上，用Sqoop把HDFS上的数据导出到Mysql的时候，发现任务执行时卡死在如下图所示的这一步：卡了接近十分钟意识到可能永远也不会结束了....赶紧ctrl+c结束进程，找找原因。首先搜了下资料，发现大多数教程都说是内存不足引起的，可在运行这个命令之前只运行过一次wordcount例程，按道理不可能占用过多内存。排除内存问题。打开had...
解决Hadoop运行jar包时一直卡在: INFO mapreduce.Job: Running job位置的问题
weixin_44177758的博客
05-06 7928
今天在Hadoop集群运行jar包时一直卡在INFO mapreduce.Job: Running job这个位置，于是上网查了一下，找到了一些解决方案： 下面是卡住都得位置 ： 首先是在我在yarn-site.xml中加 <property> <name>yarn.nodemanager.resource.memory-mb</name> &...
mapreduce任务卡在INFO mapreduce.Job: Running job
bigtiger1648的专栏
10-31 1363
http://123.123.123.123:50070/logs/ 确定日志中无报错信息，有的话就先解决。 如 上述措施还不顶用 将mapred-site.xml中 <property> <name>mapreduce.framework.name</name> <value&gt...
Hadoop常见异常及其解决方案
jiey0407的博客
08-16 1953
每次namenode format会重新创建一个namenodeId,而${hadoop.tmp.dir}/dfs/data下包含了上次format下的id,当重新执行namenode format时清空了namenode下的数据,但是没有清空datanode下的数据,所以造成namenode节点上的namespaceID与 datanode节点上的namespaceID不一致，从而导致从现上述异常，启动失败。将这些配置去掉，然后重新格式化namenode，并重启hadoop进程即可解决。...
【已解决】调用MapReduce程序INFO mapreduce.Job: Task Id : attempt_1607842602362_0032_m_000000_2, Status : FAIL
weixin_46119343的博客
12-19 9958
题目 1.求每个订单中最贵的商品（GroupingComparator） 我将该数据源上次至hadoop集群中，随后调用编写好的MapReduce程序，结果报错如下：20/12/19 12:18:08 INFO mapreduce.Job: Task Id : attempt_1607842602362_0032_m_000000_2, Status : FAIL 解决流程： 我检查了一下数据源文件，我将数据源存放在一个Grouping.txt文件中，该数据源如下： 随后我把该文件上传至集群，作为调用Ma
Hadoop 调试第一个mapreduce程序过程详细记录总结
weixin_36385007的博客
05-10 548
    开发环境搭建参考    &lt;Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境&gt;：http://blog.itpub.net/26230597/viewspace-1370205/1，程序代码如下：package wc;import java.io.IOException;import java.util.StringTokenizer;imp...
mysql导入数据io异常_Sqoop导入数据异常处理
weixin_29536515的博客
02-02 491
1.错误提示(没有json.jar包)19/01/30 11:59:48 INFO manager.DirectMySQLManager: Beginning mysqldump fast path import19/01/30 11:59:48 INFO mapreduce.ImportJobBase: Beginning import of t3Exception in thread "mai...
Hadoop基础-10-YARN
大数据精读周刊
10-13 852
源码见：https://github.com/hiszm/hadoop-train YARN产生背景 Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。 The fundamental idea of MRv2 is to split up the two major functionalities of the JobTra
hive报错--code1/2/3
qq_46893497的博客
12-21 9487
return code 1 原因： 'Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask' 报错是抄的，多次实践证明，执行hive sql ERROR 返回 return code 1 基本上是执行的HQL无法加入到对应的用户队列中。 解决方法 1： 执行HQL前，加入 set MapReduce.q
mapreduce 报错
理性的浪漫的程序人生
08-02 851
[root@master hadoop-2.6.5]# hadoop jar /opt/hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/ds1.txt /user/root/ds_out 17/07/28 02:50:53 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.88.68:8032 17/07/28 02:50:54 INFO input.Fi
hadoop命令行运行wordcount程序 web端监控不到作业状态
tangtang5156的专栏
11-06 1万+
在命令行或者是Eclipse远程连接运行Wordcount程序后，在页面8088端口号监控，始终没有变化，显示application为空。 修改集群配置文件yarn-site.xml，加上如下几句：         mapreduce.framework.name         yarn 重启运行wordcount，页面有作业显示，如下 但是作业运行失败，报错： 14/1
MapReduce任务卡在Running Job状态的多种解决方法
HoppingMad的博客
12-14 5150
问题描述： 当搭建好hadoop分布式环境测试运行MapReduce程序时有时会遇到MapReduce任务卡住，shell界面停在RunningJob后不动的情况，这种时候应当如何解决呢？ 原因分析： 正常情况下一个Job被提交上去后需要经历资源分配的过程，这往往需要数秒钟的时间，但通常不会过长，在Hadoop2.X中Yarn负责管理资源的分配和调度，那么大概率是Yarn资源分配过程遇到了毛病。 解决方案： 1、查看Hadoop详细日志 可以通过Hadoop前端web页面（一般为50070端口）查看
云计算实验（二）Hadoop 练习
カグラナナ～DD斩首～的博客
04-29 1975
1、实验目的 搭建 Hadoop 运行环境，了解其基本操作。 2、实验内容 一、搭建 Hadoop 在个人电脑上搭建 Hadoop，操作系统 Linux/Windows 都可以，可使用虚拟机，单节点（如果时间充裕，可以搭建多节点）。 参考： http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCl...
INFO mapreduce.Job: Running job: job_1683733549235_0001 卡住
05-11
看起来你正在运行一个MapReduce作业，但是它似乎卡住了。这可能是由于许多因素引起的，例如数据倾斜、网络问题、资源不足等等。你可以尝试以下方法来解决这个问题： 1. 检查日志：检查作业的日志，看看是否有任何错误或异常。如果有的话，它们可能会提供有关问题的更多信息。 2. 增加资源：如果你的作业需要更多的资源，例如内存或CPU，你可以尝试增加它们。你可以在运行作业时使用“-D”选项来设置这些参数。 3. 数据倾斜解决方案：如果你的作业遇到了数据倾斜问题，你可以尝试使用一些解决方案，例如使用Combiner、使用自定义Partitioner等等。 4. 检查网络：作业可能会因为网络问题而卡住，因此你可以检查网络连接是否正常。 5. 重启作业：如果以上方法都失败了，你可以尝试重新启动作业，并检查是否仍然会卡住。 希望这些方法能够帮助你解决问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杨鑫newlfe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值