Kafka：解决单条日志大于 1m

最新推荐文章于 2024-09-07 10:28:38 发布

程序员无羡

最新推荐文章于 2024-09-07 10:28:38 发布

阅读量1.1k

点赞数

分类专栏： Kafka 文章标签： kafka 分布式

本文链接：https://blog.youkuaiyun.com/weixin_45427648/article/details/129981330

版权

Kafka 专栏收录该内容

56 篇文章

订阅专栏

Kafka的配置参数包括message.max.bytes定义broker接收消息的最大批次大小，max.request.size设定生产者发送请求的最大消息量。replica.fetch.max.bytes是副本同步时的最大批次消息限制，而fetch.max.bytes则规定了消费者一次获取的消息最大字节数，超过限制仍可拉取，但受message.max.bytes或max.message.bytes影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参数名称	描述
message.max.bytes	默认 1m，broker 端接收每个批次消息最大值。
max.request.size	默认 1m，生产者发往 broker 每个请求消息最大值。针对 topic 级别设置消息体的大小。
replica.fetch.max.bytes	默认 1m，副本同步数据，每个批次消息最大值。
fetch.max.bytes	默认 Default: 52428800（50 m）。消费者获取服务器端一批消息最大的字节数。如果服务器端一批次的数据大于该值（50m）仍然可以拉取回来这批数据，因此，这不是一个绝对最大值。一批次的大小受 message.max.bytes （broker config） or max.message.bytes （topic config）影响。