Flink 实战 - 9.Kafka 下发消息过大异常分析与 Kafka Producer 源码浅析

一.引言

Flink 使用 kafka 作为 Sink，大部分时间运行正常，偶发报错显示 Kafka Producer 发送消息超过 kafka 设置的最大请求即 max.request.size，下面分析排查并解决该问题：

org.apache.flink.streaming.connectors.kafka.FlinkKafkaException: Failed to send data to Kafka: The message is 1143824 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.

二.问题排查与分析

1.报错原因

报错原因很清晰，kafka produce 发送的消息超出了最大的请求大小，即下发大小超出了配置中 max.request.size 的大小，这里报错内记录大小 1143824 bytes = 1.09 mb 

<