本文记录了Flume在运行过程中遇到的四种典型错误：ClosedChannelException、AvroRuntimeException、BadCheckpointException和ChannelException，并详细分析了这些错误的原因及对应的解决策略。ClosedChannelException可能由监控连接引起，不影响数据接收；AvroRuntimeException通常是配置错误导致，需要检查组件关系或源数据类型；BadCheckpointException解决方法是调整或删除检查点文件；ChannelException则提示需要关注Channel容量和Sink处理速度的匹配。
1.java.nio.channels.ClosedChannelException Unexpected exception from downstream
一般来说，这种错误是source往channel写入数据时错误才有的异常，因此只需根据实际情况去处理就行。但有另一种错误，我们配置zabbix监控flume端口时，会每隔固定时间往source端口建立一个tcp连接。查看NettyServer这样的配置后发现应用的数据是正常接收的，但flume.log日志会不停的打印ClosedChannelException，但实际并不影响其他数据的接收。
通过查看报错的堆栈信息，可以看到该报错出现在Netty 自带的ZlibEncoder编码器，在Handler处理 downstream流处理时间时，触发异常。
2.org.apache.avro.AvroRuntimeException: Excessively large list allocation request detected: 75813348829 items! Connection closed.
这个异常，是配置错误导致的。遇到有两种情况会有该异常，一种是组件之间关系写错，如名为s1的sink用的是c
最低0.47元/天 解锁文章
扫一扫
601
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
