1.在用MapReduce 跑Hbase任务是出现这个从错误: AttemptID:attempt_1380292154249_0838_m_000035_0 Timed out after 600 secsContainer killed by the ApplicationMaster.
这个问题出现的背景是:Hbase中某张表每一条都含有照片,并且照片较大。问题原因貌似跟内存有关,可能是集群的垃圾回收机制不完善所致。
临时解决办法是将hadoop-2.0.3/etc/hadoop 下的mapred-site.xml增加如下property。(系统默认是60s,此处是80s)
<property>
<name>mapred.task.timeout</name>
<value>800000</value>
<final>true</final>
</property>
可以对Map内存使用进行设置,实际我只修改了mapred-site文件,加入这个property
<name>mapreduce.map.memory.mb</name> <value>800</value>
博客内容提到了MapReduce任务尝试ID出现超时问题,解决方案是调整Map内存设置。作者通过修改mapred-site配置文件并添加特定属性来解决这个问题。
3185

被折叠的 条评论
为什么被折叠?



