
flume
pekingK
这个作者很懒,什么都没留下…
展开
-
flume接收数据单条消息过大报错
org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.Java客户端调整:MAX_REQUEST_SIZE_CONFIGkafka服务器端调整:message.max.bytes=2147483640接近Int的Max因为该值最值范围是Int特别说明:该参数调整完原创 2021-09-16 16:00:11 · 491 阅读 · 0 评论 -
用flume从kafka导数据到kafka
用flume从kafka导数据到kafka时有坑,Kafka Source可以正常从指定的Topic中读取数据,但在Kafka Sink中配置的目标Topic不起作用,数据仍然会被写入到Source中指定的Topic中,造成死循环。产生原因:If the event header contains a “topic” field, the event will be published to that topic overriding the topic configured here(来自flume官原创 2021-04-13 11:01:38 · 864 阅读 · 0 评论