flume采集日志到hdfs遇到采集一会不采集

最新推荐文章于 2024-05-11 16:00:09 发布

原创

最新推荐文章于 2024-05-11 16:00:09 发布 · 1.7k 阅读

4 ·

CC 4.0 BY-SA版权

在4c 4G内存的虚拟机上，Flume采集应用日志时遇到假死问题，表现为数据采集不正常。原因是业务日志增大导致内存不足，以及配置参数不合理。调整包括降低`transactionCapacity`、`batchSize`和`capacity`的值，确保不超过内存限制，并优化`rollInterval`与`idleTimeout`，确保Flume稳定运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境4c 4G虚拟机，上面部署应用业务，flume采集应用日志，几乎机器可用内存就几十M,还有4Gswap交换内存，硬件环境就这样，提好几次添加内存，资源有限一直没加。

之前业务日志小flume也可以正常采集日志，但是最近公司flume经常假死，明明进程在数据就是采集不到，之前没在意。都是重启后看有日志，就不管了，第二天一看只采集一个小时就不采集了，苦不堪言，每天都在补数据的路上。配置如下：

#Agent
provider.channels = c1
provider.sources = s1
provider.sinks = k1
#provider Spooling Directory Source
#注(1)
provider.sources.s1.type = exec
provider.sources.s1.shell = /bin/bash -c
provider.sources.s1.command = tail -F /home/logs/test.log
provider.sources.s1.channels = c1
provider.sources.s1.threads = 10
#provider FileChannel
#注(2)
provider.channels.c1.type = file
provider.channels.c1.checkpointDir = /data/logs/test1
provider.channels.c1.dataDirs = /data/logs/test
provider.channels.c1.capacity = 10000000 机器内存太小这个不要设置这么大 10000即可