问题
hadoop webUI上查看任务运行输出日志,任务运行中可以正常查看,但当任务完成后却无法查看日志输出
报错
java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn’t belong to this node at all.
原因
疑似原因:程序运行完成之后,日志被转入历史日志服务器中,而历史服务器没有开启
解决方案
1.检查yarn-stie.xml配置中日志输出是否启用
项目 属性
yarn.log-aggregation-enable true
yarn.log.server.url http://bigdata:19888/jobhistory/logs/
2.检查 mapred-site.xml 配置中历史服务器配置
项目 属性
mapreduce.jobhisotry.address bigdata:10020
mapreduce.jobhistory.webapp.address bigdata:19888
3.启功历史服务器
sbin/mr-jobhistory-daemon.sh start jobhistoryserver
再次查看webUI中的程序运行日志,一切回归正常!
这里写图片描述
本文解决了一个常见问题:在Hadoop Web UI上,任务运行时能查看日志,但任务完成后日志无法显示的问题。通过检查配置文件yarn-site.xml和mapred-site.xml,确认日志聚合功能已启用,并启动历史服务器,最终成功恢复日志查看功能。
1万+

被折叠的 条评论
为什么被折叠?



