AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs

最新推荐文章于 2022-04-07 22:16:22 发布
最新推荐文章于 2022-04-07 22:16:22 发布
阅读量3.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据-hadoop 大数据-KyLin(麒麟)
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/90240369
在执行Hive命令重新分布数据时遇到reduce阶段阻塞问题，具体表现为AttemptID超时。该问题源于处理5.4G商品表（1亿数据）和17M类别表（100万数据）时的资源限制。临时解决方案是在mapred-site.xml中增加配置，将超时时间从60s延长至80s。

背景

在这里插入图片描述
做kylin 的时候，执行了 hive的命令，是hive数据的重新分布

结果在reduce的时候阻塞了。
在这里插入图片描述

查看原因为

在这里插入图片描述

AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs

这个问题出现的背景是：商品表 txt文件 5.4G 一共1亿数据
类别表 17M 100万条数据

临时解决办法是将hadoop/etc/hadoop 下的mapred-site.xml增加如下property。（系统默认是60s，此处是80s）

了解本专栏 订阅专栏 解锁全文
【Yarn】hadoop的yarn资源队列
九师兄
09-12 2万+
Capacity Schedule调度器以队列为单位划分资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源,设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。
AttemptID:attempt_1525407604376_0006_1_01_000000_2
weixin_33950035的博客
05-07 935
1.Maptask超时问题情况描述某个maptask重试四次后导致job失败，失败原因就是task超时,如下： ` AttemptID:attempt_1470311300058_6506513_m_000010_0 Timed out after 600 secs`mapred.task.timeout 参数说明The number of milliseconds befo...
AttemptID:attempt_1527588965479_0001_m_000000_0 Timed out after 600 secs
wscrf的博客
05-29 7178
1.在用MapReduce 跑Hbase任务是出现这个从错误： AttemptID:attempt_1380292154249_0838_m_000035_0 Timed out after 600 secsContainer killed by the ApplicationMaster. 这个问题出现的背景是：Hbase中某张表每一条都含有照片，并且照片较大。问题原因貌似跟内存有关，可能是集群...
hadoop源码TaskAttemptID TaskTrackerAction JobTracker，FileOutputCommitter相关
luyee2010的专栏
04-15 2376
1,TaskAttemptID代表task attempt，一个task attempt就是一个map/reduce task 的一个实例taskid，而每个TaskAttemptID由两部分组成：TaskID+task序列号 eg: attempt_200707121733_0003_m_000005_0 代表2007年07月12日17点33分启动的第0003号作业（job）的第0
hadoop报错总结01
独立开发，substack顶级编辑
11-27 1648
  1.进行矩阵计算的时候，由于持续时间长，往往会出现超时的错误，错误内容如下： INFO mapreduce.Job: Task Id : attempt_1422500209602_0008_m_000000_0, Status : FAILED AttemptID:attempt_1422500209602_0008_m_000000_0 Timed out after 600 secs...
hadoop中的一次集群任务执行超时问题查找过程
weixin_30292843的博客
09-28 323
问题背景 本次进行一个项目的重构，在某些活动数据量比较大的情况下，会偶尔出现1200s超时的情况，如下： AttemptID:attempt_1410771599055_11709_m_000033_0 Timed out after 1200 secs 而hadoop会不断启动备份任务进行重试，重试也许成功，但失败的概率还是比较大： 经过分析，had...
23/06/07 17:19:28 INFO mapreduce.Job: Task Id : attempt_1686128528321_0001_m_000016_2, Status : FAILED AttemptID:attempt_1686128528321_0001_m_000016_2 Timed out after 300 secs 23/06/07 17:19:28 INFO mapreduce.Job: Task Id : attempt_1686128528321_0001_m_000014_2, Status : FAILED AttemptID:attempt_1686128528321_0001_m_000014_2 Timed out after 300 secs
06-08
它们指示两个任务（ID为attempt_1686128528321_0001_m_000016_2和attempt_1686128528321_0001_m_000014_2）已经超时，因此失败了。可能是因为这些任务需要更长的时间来完成，但是由于超时限制，它们被强制终止了。要...
2025-04-28 21:01:03,624 INFO mapreduce.Job: map 0% reduce 0% 2025-04-28 21:01:25,796 INFO mapreduce.Job: map 100% reduce 0% 2025-04-28 21:11:32,256 INFO mapreduce.Job: Task Id : attempt_1745844049528_0001_m_000000_1, Status : FAILED AttemptID:attempt_1745844049528_0001_m_000000_1 Timed out after 600 secs 2025-04-28 21:11:33,269 INFO mapreduce.Job: map 0% reduce 0% 2025-04-28 21:11:51,360 INFO mapreduce.Job: map 100% reduce 0% 2025-04-28 21:22:02,826 INFO mapreduce.Job: Task Id : attempt_1745844049528_0001_m_000000_2, Status : FAILED AttemptID:attempt_1745844049528_0001_m_000000_2 Timed out after 600 secs [2025-04-28 21:22:01.865]Container killed by the ApplicationMaster. [2025-04-28 21:22:01.866]Sent signal OUTPUT_THREAD_DUMP (SIGQUIT) to pid 3809 as user atguigu for container container_1745844049528_0001_01_000004, result=success [2025-04-28 21:22:01.922]Container killed on request. Exit code is 143 [2025-04-28 21:22:01.954]Container exited with a non-zero exit code 143.
最新发布
04-29
### **一、超时问题分析及解决（错误提示：timed out after 600 secs）** #### 1. **调整任务超时参数** - **参数**：`mapreduce.task.timeout`（默认300秒） - **操作**：在`mapred-site.xml`中增大超时阈值，例如...
Hadoop错误：Task Id : attempt_1633228897132_0002_m_000000_0, Status : FAILED
Maishuchongji的博客
10-03 2655
INFO mapreduce.Job: map 0% reduce 0% 2021-10-03 10:49:22,839 INFO mapreduce.Job: Task Id : attempt_1633228897132_0002_m_000000_0, Status : FAILED Error: java.lang.ArrayIndexOutOfBoundsException: 5 //这里说：数组下标越界异常 对照后发现 // String[] split = text.toSt
【异常问题】Hive中SQL执行mapreduce.task.timeout超时问题
Insist
12-14 1万+
【异常描述】 Task with the most failures(4):  ----- Task ID:task_1479051658015_121922_r_000000 URL:http://hnn01.ns4f.hi.ipm.nokia.com:8088/taskdetails.jsp?jobid=job_1479051658015_121922&tipid=task_14790
Hive笔记
qq_34067058的博客
10-28 1744
使用Hive REGEXP_EXTRACT()函数删除非字母数字或非数字字符 获取数字 SELECT regexp_replace("7X789", "[^0-9]+", "") FROM table_name
MapReduce超时原因（Time out after 300 secs）
weixin_30405421的博客
11-06 1253
　　目前碰到过三种原因导致 Time out after 300 secs。 1. 死循环 　　这是最常见的原因。显式的死循环很容易定位，隐式的死循环就比较麻烦了，比如正则表达式。曾经用一个网上抄来的邮箱正则表达式匹配百亿条数据，最终导致一个map阶段的attempt频繁超时重试，最后自己重写了一个简化版的表达式，问题解决。 2. 频繁GC 程序中生成了过多的全局对象会导...
maptask 超时问题 Timed out after 600 secs
热门推荐
败八
11-09 1万+
Maptask 超时问题（1） 1.Maptask超时问题情况描述 某个maptask重试四次后导致job失败，失败原因就是task超时,如下： ` AttemptID:attempt_1470311300058_6506513_m_000010_0 Timed out after 600 secs ` mapred.task.timeout 参数说明 The number of mi...
Spark调度系统——Stage详解
LINBE_blazers的博客
05-29 1932
DAGScheduler会将Job的RDD划分到不同的Stage，并构建这些Stage的依赖关系。这样可以使得没有依赖关系的Stage并行执行，并保证有依赖关系的Stage顺序执行。并行执行能够有效利用集群资源，提升运行效率，而串行执行则适用于那些在时间和数据资源上存在强制依赖的场景。Stage分为需要处理Shuffle的ShuffleMapStage和最下游的ResultStage。上游Stag...
hive MapReduce Timed out after 600 secs
yisun123456的博客
10-21 2392
mapred.task.timeout参数说明 该参数默认为 600秒（60000 ms） 。 如果map或reduce方法在600秒内没有返回或，TaskTracker将认为相应的task已经死亡。 并向JobTracker汇报错误。JobTracker会kill 当前task，并在其他节点上重新执行它。如果多次尝试均失败，那整个job就失败返回 可以调节该参数在当前任务中的数值，set mapred.task.timeout=1800000; (60000*30) 300min ...
【yarn】yarn 命令行查看 资源状态
九师兄
01-11 1万+
这个命令句就可以 , 查看集群的资源情况 , 包括正在使用的情况.如何通过shell 命令或脚本查看剩余的 cpu核心数 和内存。本次是因为yarn界面现场不给开放一个任务总是说资源不足。
【hadoop】java 获取 yarn app 信息 报错 ConfiguredRMFailoverProxyProvider - Failing over to rm2
九师兄
04-07 5918
java 获取 yarn app 信息 报错 这个原因是没有配置相关的 2.场景2 本次是对方kerberos认证环境出现问题，也会报错这个 改问题最终解决，参考：【hadoop】java连接hadoop Kerberos 24小时过期问题
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值