SparkStreaming发送log4j日志到Flume配置

关注

原创最新推荐文章于 2026-03-16 00:28:44 发布 291 阅读 AI 写同款· GEO 优化 ›

SparkStreaming的log4j日志记录博客前言为什么我们要写日志基本上每个程序都要有日志记录的功能，日志的记录最重要的用处就是监控程序的运行状态和错误查找。如果程序没有写日志，那程序就像瞎子一样，瞎跑，你都不知道为什么数据不对，为什么程序报错，程序运行成功还是失败。在流式计算Sparkstreaming中，日志的记录是非常重要的；因为流式计算是需要7*24小时一直运行的，你不记日志你根本不知道程序运行成功还是错误（当然你可以通过s 阅读详情

如果要将SparkStreaming产生的系统日志发送给Flume
则要在log4j.properties中添加如下配置:

log4j.rootLogger=INFO,flume
log4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.Hostname=192.168.4.209
log4j.appender.flume.Port=7777
log4j.appender.flume.UnsafeMode=true
log4j.appender.flume.layout=org.apache.log4j.PatternLayout
log4j.appender.flume.layout.ConversionPatter=%m

将spark/conf目录下的log4j.properties.template改成 log4j.properties
并按上面的配置。

如上配置在使用local模式时，spark可以正常发送数据到flume。
而当运行在spark on yarn上时，则情况不同:

1.若运行yarn-client

则其他日志能够正常发送，但在mapPartition及foreachePartition方法内的日志则无法发送到flume.

2,若运行yarn-cluster

则所有日志都不能正常发送。
此时可以修改Hadoop目录下的etc/hadoop/log4j.properties，添加如下配置

log4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.Hostname=192.168.3.133
log4j.appender.flume.Port=7777
log4j.appender.flume.UnsafeMode=true
log4j.appender.flume.layout=org.apache.log4j.PatternLayout
log4j.appender.flume.layout.ConversionPatter=%m

并找到log4j.rootLogger项，添加一个flume

收录于