Kafka Producer 发送大消息该如何配置以及如何提高吞吐量
kafka版本
今天有个同事要往kafka发送一个单条4M大小的数据,但是报错了,说消息过大,那么看一下有哪些参数是控制单条消息大小的
首先看Broker级别的配置
message.max.bytes
官方文档翻译:Kafka允许的最大记录批大小(如果启用压缩,则在压缩之后)。如果增加这个值,并且有超过0.10.2的使用者,那么使用者的获取大小也必须增加,以便他们能够获取这么大的记录批。在最新的消息格式版本中,为了提高效率,记录总是分组成批。在以前的消息格式版本中,未压缩的记录不会分组成批,在这种
原创
2020-07-29 18:01:31 ·
2893 阅读 ·
1 评论