flume-ng总结/注意事项

最新推荐文章于 2022-06-30 18:00:04 发布

原创最新推荐文章于 2022-06-30 18:00:04 发布 · 1.6k 阅读

0 ·

CC 4.0 BY-SA版权

Flume ng 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了在使用Flume-ng进行日志收集时遇到的一些常见问题及其解决方案，包括avroclient传输过程中数据丢失的问题、启动脚本中内存设置不当导致的错误以及server端memorychannel配置不当引发的问题。

1. 在客户端，使用flume-ng 的avro client传输过程中会丢数据，如

$bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.10

2. /bin目录下flume-ng启动脚本中的OPTS要设置的大一些，否则会报内存溢出的错误。默认是20m，如下：

JAVA_OPTS="-Xmx20m"

3. server端的memory channel的capacity和transactionCapacity一定要设置的比client的大，否则会报错，如下：

13 六月 2013 17:51:57,546 ERROR [pool-7-thread-1] (org.apache.flume.source.AvroSource.appendBatch:261)  - Avro source r1: Unable to process event batch. Exception follows.
org.apache.flume.ChannelException: Unable to put batch on required channel: org.apache.flume.channel.MemoryChannel{name: ..}