小么飞刀的博客

使用hadoop api获取任务日志 在上一篇文章写到了如何使用hadoop api获取任务日志，只是最后贴出了日志输出的内容，没有写清楚到底如何输出日志。最近有小伙伴私信我如何输出日志，通过这篇文章进行一个补充，有不明白的地方可以私信或者留言。如果没有及时回复，可以添加我的微信。 @Test public void printLog() throws IOException { //假设我们已经通过其他的方式拿到了applicationId 一般都是通过livy 提供的rest a

使用hadoop api获取任务日志 正常情况下我们可以通过开启日志聚合在yarn webUi上查看任务日志，但是当我们需要定制日志呈现方式时就需要使用到hadoop提供的api来获取。以下为demo。 引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> ...

问题现象 hadoop yarn的web ui上查看job执行日志报错： 问题分析 出现这个现象有两个原因： 一、没有在mapred-site.xml中配置jobhistory访问地址： <property> <name>mapreduce.jobhistory.address</name> <value>192.168.2.177...