TIDB-kafka server: Message was too large, server rejected it to avoid allocation error

一、背景

使用drainer同步到kafka报错：

 ["fail to produce message to kafka, please check the state of kafka server"] [error="kafka: Failed to produce message to topic test-tidb: kafka server: Message was too large, server rejected it to avoid allocation error."]

二、解决

报错原因： 如果在 TiDB 中执行了大事务，则生成的 binlog 数据会比较大，可能超过了 Kafka 的消息大小限制。

解决方法： 需要调整 Kafka 集群的配置参数，如下所示。

message.max.bytes=1073741824
replica.fetch.max.bytes=1073741824
fetch.message.max.bytes=1073741824