log4j ----->flume

最新推荐文章于 2019-04-02 09:23:48 发布

awangyuk

最新推荐文章于 2019-04-02 09:23:48 发布

阅读量284

点赞数

CC 4.0 BY-SA版权

分类专栏： java 文章标签： log4j+flume

本文链接：https://blog.youkuaiyun.com/u011739062/article/details/78540975

java 专栏收录该内容

14 篇文章

订阅专栏

本文介绍三种从Log4j2向Flume发送JSON格式数据的方法：使用avro+flume-ng-log4jappender+自定义appender、使用tcp+logstash-gelf+flume源码SystemLogUtil及采用logstash-gelf构造JSON的方式，并讨论了它们的重连特性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过log4j \log4j2传输 json到 flume1.7

方式一:使用avro + flume-ng-log4jappender + 重写appender

log4j.appender.flume=com.log.SubLog4jAppender
message和stackTrace 以及自定字段 hostName----->封装json数据----->
flumeEvent = EventBuilder.withBody(msg, Charset.forName("UTF8"), hdrs);

方式二:使用tcp +logststash-gelf + flume源码SystemLogUtil

logststash-gelf 的\u0000刚好替换掉 flume tcp的 \n (大小可能有其他影响)

方式三:取用logststash-gelf的构造JSON其他同[方式一]相同

[方式二]有重连，[方式一]+[方式三]的重连问题 https://issues.apache.org/jira/browse/FLUME-2186

log4j2

org.apache.logging.log4j.core.layout

public byte[] toByteArray(LogEvent event) {
    byte[] bytes = this.getBytes(this.toSerializable(event));
    return bytes;
   // return bytes.length > this.compressionThreshold?this.compress(bytes):bytes;
}

com.log2.GelfLayout2

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN" monitorInterval="300"  packages="com.log2">
<Appenders>
    <Console name="Console" target="SYSTEM_OUT">
        <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n"/>
    </Console>
    <Flume name="eventLogger" compress="false">
        <Agent host="192.168.56.103" port="6666"/>
        <GelfLayout2/>
    </Flume>
</Appenders>
<Loggers>
    <Root level="ERROR">
        <AppenderRef ref="eventLogger" />
        <AppenderRef ref="Console"/>
    </Root>
</Loggers>
</Configuration>