kafka中重要的参数配置（记录）

最新推荐文章于 2024-06-17 10:32:27 发布

原创最新推荐文章于 2024-06-17 10:32:27 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

kafka 专栏收录该内容

1 篇文章

订阅专栏

本文探讨了Kafka配置中replica.fetch.max.bytes参数的重要性，特别是在消息大小超过默认值时，如何避免副本间同步失败的问题。建议设置该参数值为所有主题中最大message.size的上限，以确保数据同步稳定。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

replica.fetch.max.bytes：

在kafka的配置中，如果没有定义 replica.fetch.max.bytes的值，server 会给一个默认值(1M),在短消息的应用场景下通常是不会有什么问题的，但是在消息比较大的情况下，虽然可以在topic中定义max.message.bytes这个值比较大，但是对于broker，topic的max.message.bytes变大不会自动修正replica.fetch.max.bytes的大小，所以会存在这样一个问题: 配置文件中没有定义 replica.fetch.max.bytes ，但是消息的长度大于默认值1M，就会导致replica之间数据同步失败。

问题解决：将所有topic中最大的max.message.bytes赋给replica.fetch.max.bytes，在配置初始化的时候尽量配置replica.fetch.max.bytes一个较大的值，同时确保所有topic的max.message.bytes都小于 replica.fetch.max.bytes