Kafka：解决单条日志大于 1m

最新推荐文章于 2024-12-19 19:15:14 发布

原创最新推荐文章于 2024-12-19 19:15:14 发布 · 1.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #分布式

Kafka 专栏收录该内容

56 篇文章

订阅专栏

Kafka的配置参数包括message.max.bytes定义broker接收消息的最大批次大小，max.request.size设定生产者发送请求的最大消息量。replica.fetch.max.bytes是副本同步时的最大批次消息限制，而fetch.max.bytes则规定了消费者一次获取的消息最大字节数，超过限制仍可拉取，但受message.max.bytes或max.message.bytes影响。

参数名称	描述
message.max.bytes	默认 1m，broker 端接收每个批次消息最大值。
max.request.size	默认 1m，生产者发往 broker 每个请求消息最大值。针对 topic 级别设置消息体的大小。
replica.fetch.max.bytes	默认 1m，副本同步数据，每个批次消息最大值。
fetch.max.bytes	默认 Default: 52428800（50 m）。消费者获取服务器端一批消息最大的字节数。如果服务器端一批次的数据大于该值（50m）仍然可以拉取回来这批数据，因此，这不是一个绝对最大值。一批次的大小受 message.max.bytes （broker config） or max.message.bytes （topic config）影响。