【exception】Java和kafka连接正常但是发送数据失败

最新推荐文章于 2025-02-25 20:40:03 发布

原创最新推荐文章于 2025-02-25 20:40:03 发布 · 2.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #exception

工具组件专栏收录该内容

8 篇文章

订阅专栏

本文记录了在Java程序整合Kafka时遇到的连接超时异常，详细描述了异常现象及解决步骤，通过删除Zookeeper中特定目录下的数据，成功解决了问题。

描述

今天Java程序和kafka整合的时候遇到一个情况，Java可以和kafka连接但是在发送数据的时候出现了以下的异常：

-2019-07-30 14:55:08.494 -ERROR 2191 [kafka-producer-network-thread | producer-1] (LoggingProducerListener.java:84) Exception thrown when sending a message with key='null' and payload='[{"index_level":"1","unit":"%","id...' to topic testData:
-
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for testData-0: 30032 ms has passed since batch creation plus linger time

看到连接超时一开始以为是连接的问题，但是连接是正常的，在寻找资料后，找到了一个解决这个问题的方法。

解决

启动zookeeper的客户工具，删除zookeeper根目录下的brokers目录下的topic目录下的所有东西（这样会把之前建的所有topic都删除）

具体步骤：

启动zookeeper 客户端：进到zookeeper的安装目录

[root@Node1 bin]# cd /usr/apps/zookeeper/bin/

[root@Node1 bin]# ls
README.txt  zkCleanup.sh  zkCli.cmd  zkCli.sh  zkEnv.cmd  zkEnv.sh  zkServer.cmd  zkServer.sh  zookeeper.out

运行zkCli.sh

[root@Node1 bin]# ./zkCli.sh 
Connecting to localhost:2181

查看/brokers/topic下面有什么东西

[zk: localhost:2181(CONNECTED) 0] ls /brokers/topics

删除里面所有的文件

[zk: localhost:2181(CONNECTED) 0]rmr /brokers/topics/hive-test-table

重新启动producer和consumer，Java重新发送就可以看发过来的数据

原因分析

具体原因不清楚。

但是这个超时是因为producer.properties配置文件有一个值是request.timeout.ms，默认是30秒。producer往broker发送数据时是串行的，只有上次batch全部写入broker，并且全部callback函数执行完毕后，才会继续下一次发送。如果上一次发送全部callback函数执行时间超过了30秒，就会导致后续batch的message发送时间大于创建时间30秒以上，然后被producer丢弃并抛出异常。