错误分析:
报错信息如下:
The transaction timeout is larger than the maximum value allowed by the broker (as configured by transaction.max.timeout.ms).
官网解释如下:
flink官网解释
简而言之就是:sinkProducer的超时时间默认为1个小时,
但是kafka broker的超时时间默认是15分钟, kafka broker不允许producer的超时时间比他大.
所以有两种解决办法:
1.生产者的超时时间调小
2.将broker的超时时间调大
默认情况下,Kafka broker 将 transaction.max.timeout.ms 设置为 15 分钟。此属性不允许为大于其值的 producer 设置事务超时时间。 默认情况下,FlinkKafkaProducer 将 producer config 中的 transaction.timeout.ms 属性设置为 1 小时,因此在使用 Semantic.EXACTLY_ONCE 模式之前应该增加 transaction.max.timeout.ms 的值。

解决办法:
//将kafka producer的超时时间调至和broker一致即可
sinkConfig.put("transaction.timeout.ms",15*60*1000);
本文介绍了一种常见的Flink Kafka Producer错误——事务超时过长的问题及解决方法。通常,Flink Kafka Producer默认事务超时时间为1小时,而Kafka Broker默认的transaction.max.timeout.ms为15分钟。当两者不匹配时会导致错误发生。解决方案包括调整Flink Kafka Producer的超时时间或增大Broker的transaction.max.timeout.ms。
771

被折叠的 条评论
为什么被折叠?



