AttemptID:attempt_1527588965479_0001_m_000000_0 Timed out after 600 secs

博客内容提到了MapReduce任务尝试ID出现超时问题,解决方案是调整Map内存设置。作者通过修改mapred-site配置文件并添加特定属性来解决这个问题。
部署运行你感兴趣的模型镜像
1.在用MapReduce 跑Hbase任务是出现这个从错误: AttemptID:attempt_1380292154249_0838_m_000035_0 Timed out after 600 secsContainer killed by the ApplicationMaster.
这个问题出现的背景是:Hbase中某张表每一条都含有照片,并且照片较大。问题原因貌似跟内存有关,可能是集群的垃圾回收机制不完善所致。
临时解决办法是将hadoop-2.0.3/etc/hadoop 下的mapred-site.xml增加如下property。(系统默认是60s,此处是80s)
<property>
 <name>mapred.task.timeout</name>
 <value>800000</value>
 <final>true</final>
</property>

可以对Map内存使用进行设置,实际我只修改了mapred-site文件,加入这个property

<name>mapreduce.map.memory.mb</name>
<value>800</value>



您可能感兴趣的与本文相关的镜像

ComfyUI

ComfyUI

AI应用
ComfyUI

ComfyUI是一款易于上手的工作流设计工具,具有以下特点:基于工作流节点设计,可视化工作流搭建,快速切换工作流,对显存占用小,速度快,支持多种插件,如ADetailer、Controlnet和AnimateDIFF等

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值