修改Hadoop日志格式为json

最新推荐文章于 2022-07-21 14:28:18 发布

谜失落的世界

最新推荐文章于 2022-07-21 14:28:18 发布

阅读量246

点赞数

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/qq_40454655/article/details/92610190

版权

Hadoop 专栏收录该内容

8 篇文章

订阅专栏

本文介绍了如何修改CDH和Apache Hadoop版本的日志格式，使其以JSON格式输出。对于CDH，需要在NameNode和DataNode的"NameNode Logging Advanced Configuration Snippet"和"DataNode Logging Advanced Configuration Snippet"中配置log4j.appender.RFA.layout.ConversionPattern。对于Apache版本，需编辑/usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop/log4j.properties文件进行相应更改。参考链接提供详细步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、如果是CDH版本的

找到"NameNode Logging Advanced Configuration Snippet (Safety Valve)",配置
log4j.appender.RFA.layout.ConversionPattern = {"time":"%d{yyyy-MM-dd HH:mm:ss,SSS}","logtype":"%p","loginfo":"%c:%m"}%n找到"DataNode Logging Advanced Configuration Snippet (Safety Valve)",也配置
log4j.appender.RFA.layout.ConversionPattern = {"time":"%d{yyyy-MM-dd HH:mm:ss,SSS}","logtype":"%p","loginfo":"%c:%m"}%n

2、如果是apache版本的

进入hadoop的配置文件的目录

/usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop，找到log4j.properties这个配置文件

hadoop-env.sh和查看系统属性：

hadoop-daemon.sh和hadoop-env.sh，发现系统默认的是RFA,因此在log4j中此处修改的是log4j.appender.RFA.layout.ConversionPattern对应的改成{"time":"%d{yyyy-MM-dd HH:mm:ss,SSS}","logtype":"%p","loginfo":"%c:%m"}%n，而非修改og4j.appender.console.layout.ConversionPattern