问题
hadoop webUI上查看任务运行输出日志,任务运行中可以正常查看,但当任务完成后却无法查看日志输出
报错
java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn’t belong to this node at all.
原因
疑似原因:程序运行完成之后,日志被转入历史日志服务器中,而历史服务器没有开启
解决方案
1.检查yarn-stie.xml配置中日志输出是否启用
项目 属性
yarn.log-aggregation-enable true
yarn.log.server.url http://bigdata:19888/jobhistory/logs/
2.检查 mapred-site.xml 配置中历史服务器配置
项目 属性
mapreduce.jobhisotry.address bigdata:10020
mapreduce.jobhistory.webapp.address bigdata:19888
3.启功历史服务器
sbin/mr-jobhistory-daemon.sh start jobhistoryserver
再次查看webUI中的程序运行日志,一切回归正常!
这里写图片描述
---------------------
作者:LongfeiZhou
来源:优快云
原文:https://blog.youkuaiyun.com/u012037852/article/details/71405054
版权声明:本文为博主原创文章,转载请附上博文链接!