kafka shell 常见报错

最新推荐文章于 2025-02-11 09:52:02 发布
最新推荐文章于 2025-02-11 09:52:02 发布
阅读量890 收藏
点赞数
分类专栏： kafka 文章标签： java kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bentengdi/article/details/80422756
版权
本文主要介绍了在Kafka集群环境中，由于执行单机Kafka shell命令导致的错误及其解决方法。错误发生于尝试使用单节点的broker-list和zookeeper地址启动生产者和消费者。解决方式是更新命令为包含所有集群节点的地址，并且在Zookeeper路径中避免使用特定的服务器目录。同时，版本不匹配也可能导致此类问题，确保服务器上的Kafka版本与代码配置一致。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

[2018-05-23 16:36:57,922] WARN Fetching topic metadata with correlation id 0 for topics [Set(test23)] from broker [id:0,host:zk-1.pplive.cn,port:9092] failed (kafka.client.ClientUtils$)
java.net.SocketTimeoutException
        at sun.nio.ch.SocketAdaptor$SocketInputStream.read(SocketAdaptor.java:229)
        at sun.nio.ch.ChannelInputStream.read(ChannelInputStream.java:103)
        at java.nio.channels.Channels$ReadableByteChannelImpl.read(Channels.java:385)
        at kafka.utils.Utils$.read(Utils.scala:380)
        at kafka.network.BoundedByteBufferReceive.readFrom(BoundedByteBufferReceive.scala:54)
        at kafka.network.Receive$class.readCompletely(Transmission.scala:56)
        at kafka.network.BoundedByteBufferReceive.readCompletely(BoundedByteBufferReceive.scala:29)
        at kafka.network.BlockingChannel.receive(BlockingChannel.scala:111)
        at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:75)
        at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:72)
        at kafka.producer.SyncProducer.send(SyncProducer.scala:113)
        at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:58)
        at kafka.producer.BrokerPartitionInfo.updateInfo(BrokerPartitionInfo.scala:82)
        at kafka.producer.async.DefaultEventHandler$$anonfun$handle$1.apply$mcV$sp(DefaultEventHandler.scala:67)
        at kafka.utils.Utils$.swallow(Utils.scala:172)
        at kafka.utils.Logging$class.swallowError(Logging.scala:106)
        at kafka.utils.Utils$.swallowError(Utils.scala:45)
        at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:67)
        at kafka.producer.async.ProducerSendThread.tryToHandle(ProducerSendThread.scala:105)
        at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:88)
        at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:68)
        at scala.collection.immutable.Stream.foreach(Stream.scala:594)
        at kafka.producer.async.ProducerSendThread.processEvents(ProducerSendThread.scala:67)
        at kafka.producer.async.ProducerSendThread.run(ProducerSendThread.scala:45)
[2018-05-23 16:36:57,925] ERROR fetching topic metadata for topics [Set(test23)] from broker [ArrayBuffer(id:0,host:zk-1.pplive.cn,port:9092)] failed (kafka.utils.Utils$)
kafka.common.KafkaException: fetching topic metadata for topics [Set(test23)] from broker [ArrayBuffer(id:0,host:zk-1.pplive.cn,port:9092)] failed
        at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:72)
        at kafka.producer.BrokerPartitionInfo.updateInfo(BrokerPartitionInfo.scala:82)
        at kafka.producer.async.DefaultEventHandler$$anonfun$handle$1.apply$mcV$sp(DefaultEventHandler.scala:67)
        at kafka.utils.Utils$.swallow(Utils.scala:172)
        at kafka.utils.Logging$class.swallowError(Logging.scala:106)
        at kafka.utils.Utils$.swallowError(Utils.scala:45)
        at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:67)
        at kafka.producer.async.ProducerSendThread.tryToHandle(ProducerSendThread.scala:105)
        at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:88)
        at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:68)
        at scala.collection.immutable.Stream.foreach(Stream.scala:594)
        at kafka.producer.async.ProducerSendThread.processEvents(ProducerSendThread.scala:67)
        at kafka.producer.async.ProducerSendThread.run(ProducerSendThread.scala:45)
Caused by: java.net.SocketTimeoutException
        at sun.nio.ch.SocketAdaptor$SocketInputStream.read(SocketAdaptor.java:229)
        at sun.nio.ch.ChannelInputStream.read(ChannelInputStream.java:103)
        at java.nio.channels.Channels$ReadableByteChannelImpl.read(Channels.java:385)
        at kafka.utils.Utils$.read(Utils.scala:380)
        at kafka.network.BoundedByteBufferReceive.readFrom(BoundedByteBufferReceive.scala:54)
        at kafka.network.Receive$class.readCompletely(Transmission.scala:56)
        at kafka.network.BoundedByteBufferReceive.readCompletely(BoundedByteBufferReceive.scala:29)
        at kafka.network.BlockingChannel.receive(BlockingChannel.scala:111)
        at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:75)
        at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:72)
        at kafka.producer.SyncProducer.send(SyncProducer.scala:113)
        at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:58)
        ... 12 more
[2018-05-23 16:36:59,429] WARN Fetching topic metadata with correlation id 1 for topics [Set(test23)] from broker [id:0,host:zk-1.pplive.cn,port:9092] failed (kafka.client.ClientUtils$)
java.net.SocketTimeoutException
        at sun.nio.ch.SocketAdaptor$SocketInputStream.read(SocketAdaptor.java:229)
        at sun.nio.ch.ChannelInputStream.read(ChannelInputStream.java:103)
        at java.nio.channels.Channels$ReadableByteChannelImpl.read(Channels.java:385)
        at kafka.utils.Utils$.read(Utils.scala:380)
        at kafka.network.BoundedByteBufferReceive.readFrom(BoundedByteBufferReceive.scala:54)
        at kafka.network.Receive$class.readCompletely(Transmission.scala:56)
        at kafka.network.BoundedByteBufferReceive.readCompletely(BoundedByteBufferReceive.scala:29)
        at kafka.network.BlockingChannel.receive(BlockingChannel.scala:111)
        at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:75)
        at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:72)
        at kafka.producer.SyncProducer.send(SyncProducer.scala:113)
        at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:58)
        at kafka.producer.BrokerPartitionInfo.updateInfo(BrokerPartitionInfo.scala:82)
        at kafka.producer.BrokerPartitionInfo.getBrokerPartitionInfo(BrokerPartitionInfo.scala:49)
        at kafka.producer.async.DefaultEventHandler.kafka$producer$async$DefaultEventHandler$$getPartitionListForTopic(DefaultEventHandler.scala:186)
        at kafka.producer.async.DefaultEventHandler$$anonfun$partitionAndCollate$1.apply(DefaultEventHandler.scala:150)
        at kafka.producer.async.DefaultEventHandler$$anonfun$partitionAndCollate$1.apply(DefaultEventHandler.scala:149)
        at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
        at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
        at kafka.producer.async.DefaultEventHandler.partitionAndCollate(DefaultEventHandler.scala:149)

原因是在集群环境里执行了单机的kafka shell命令

报错之前执行的命令是：

启动生产者发送消息
bin/kafka-console-producer.sh –broker-list ip1:9092 –topic test23
启动消费者消费
bin/kafka-console-consumer.sh –zookeeper ip1:2181/Apps/kafka –topic test23 –from-beginning

解决办法是：

启动生产者发送消息
bin/kafka-console-producer.sh –broker-list ip1:9092,ip2:9092,ip3:9092 –topic test23
启动消费者消费
bin/kafka-console-consumer.sh –zookeeper ip1:2181,ip2:2181,ip3:2181/Apps/kafka –topic test23 –from-beginning
因为我是在zookeeper集群里创建了kafka自己的目录，如果使用默认的，应该是去掉/Apps/kafka

[2018-05-28 17:22:49,354] ERROR Closing socket for /10.200.115.47 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
        at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:64)
        at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
        at kafka.network.Processor.read(SocketServer.scala:450)
        at kafka.network.Processor.run(SocketServer.scala:340)
        at java.lang.Thread.run(Thread.java:745)
[2018-05-28 17:22:50,567] ERROR Closing socket for /10.200.115.47 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
        at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:64)
        at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
        at kafka.network.Processor.read(SocketServer.scala:450)
        at kafka.network.Processor.run(SocketServer.scala:340)
        at java.lang.Thread.run(Thread.java:745)
[2018-05-28 17:22:51,430] ERROR Closing socket for /10.200.115.47 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
        at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:64)
        at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
        at kafka.network.Processor.read(SocketServer.scala:450)
        at kafka.network.Processor.run(SocketServer.scala:340)
        at java.lang.Thread.run(Thread.java:745)
[2018-05-28 17:22:52,294] ERROR Closing socket for /10.200.115.47 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
        at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:64)
        at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
        at kafka.network.Processor.read(SocketServer.scala:450)
        at kafka.network.Processor.run(SocketServer.scala:340)
        at java.lang.Thread.run(Thread.java:745)
[2018-05-28 17:22:53,156] ERROR Closing socket for /10.200.115.47 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
        at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:64)
        at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
        at kafka.network.Processor.read(SocketServer.scala:450)
        at kafka.network.Processor.run(SocketServer.scala:340)
        at java.lang.Thread.run(Thread.java:745)
[2018-05-28 17:22:54,019] ERROR Closing socket for /10.200.115.47 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
        at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:64)
        at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
        at kafka.network.Processor.read(SocketServer.scala:450)
        at kafka.network.Processor.run(SocketServer.scala:340)
        at java.lang.Thread.run(Thread.java:745)
[2018-05-28 17:34:51,917] ERROR Closing socket for /10.200.115.47 because of error (kafka.network.Processor)
java.io.IOException: Connection reset by peer
        at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
        at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
        at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
        at sun.nio.ch.IOUtil.read(IOUtil.java:197)
        at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:379)
        at kafka.utils.Utils$.read(Utils.scala:380)
        at kafka.network.BoundedByteBufferReceive.readFrom(BoundedByteBufferReceive.scala:54)
        at kafka.network.Processor.read(SocketServer.scala:444)
        at kafka.network.Processor.run(SocketServer.scala:340)
        at java.lang.Thread.run(Thread.java:745)
[2018-05-28 17:34:51,918] ERROR Closing socket for /10.200.115.47 because of error (kafka.network.Processor)
java.io.IOException: Connection reset by peer
        at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
        at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
        at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
        at sun.nio.ch.IOUtil.read(IOUtil.java:197)
        at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:379)
        at kafka.utils.Utils$.read(Utils.scala:380)
        at kafka.network.BoundedByteBufferReceive.readFrom(BoundedByteBufferReceive.scala:54)
        at kafka.network.Processor.read(SocketServer.scala:444)
        at kafka.network.Processor.run(SocketServer.scala:340)
        at java.lang.Thread.run(Thread.java:745)

注意这个问题是由于你服务器上的kafka版本和你代码中配置的kafka版本不一致导致的。

Kafka实践（七）：Kafka自带工具及常见异常处理文档
叶子叶来
10-09 6225
Kafka自带常用工具 Kafka的bin目录下shell脚本是kafka自带的管理工具，提供topic的创建/删除/配置修改、消费者的监控、分区重载、集群健康监控、收发端TPS压测、跨机房同步等能力，Kafka运维者可以使用这些工具进行集群的管理； Kafka节点的启/停 ------kafka 运行： bin/kafka-server-start.sh -daemon ../conf...
kafka异常connection reset by peer
文学超的博客
09-25 1万+
最近查阅kafka对应的系统log文件server.log，查阅到一条异常信息 ERROR Closing socket for /120.24.169.139 because of error (kafka.network.Processor)  Connection reset by peer 异常信息： [2016-09-22 13:17:52,804] ERROR Closi
初学Kafka遇到的问题：Wrong request type 18、 Error reading field 'topic_metadata':...
厚积薄发
10-26 5151
初学Kafka遇到的问题：Wrong request type 18、 Error reading field ‘topic_metadata’: … 其实这两个错误的根本原因是一致的，都是Linux上的版本号与maven里面kakfa-client的版本号不对应的问题： 我在linux上面的kafka的版本号是：kafka_2.10-0.8.2.1 先给出第一个错误：这时候在pom文件里面配...
kafka的kafka-console-consumer.sh和kafka-console-producer.sh如何使用
最新发布
weixin_43940494的博客
02-11 619
本文聚焦于 Kafka 的 kafka - console - consumer.sh 和 kafka - consumer - perf - test.sh 两款消费者工具。先对比其功能用途、参数设置与输出结果，前者用于简单消息消费查看，参数简洁、输出消息内容；后者专注性能测试，参数丰富、输出性能指标。接着阐述使用 SCRAM - ACL 认证连接 Kafka 集群的方法，包括集群端开启认证、创建用户与配置密码、设置 ACL 策略，以及两款工具在连接时的具体配置
Connection reset by peer
lavimer
05-08 5414
问题： ERROR Closing socket for /120.24.169.139 because of error (kafka.network.Processor)  Connection reset by peer    [2015-05-08 13:17:52,804] ERROR Closing socket for /120.24.169.139 because of e
KafkaException：Fetching topic metadata with correlation id 0 for topics [Set(test)]
yyoc97的专栏
04-17 1万+
本地链接远程Kafka异常 远程机器fp-bd13搭建最新版Kafka （自带zookeeper），按照文档默认配置启动。远程新建producer和costumer一切正常。 本地spark链接： JavaPairReceiverInputDStream&lt;String, String&gt; kafkaStream =KafkaUtils ...
大数据项目实践过程笔记
ITMAN009的博客
07-24 2846
开发工具intelijidea 2.19.3 目前围绕Hadoop体系的大数据架构包括： 传统大数据架构 数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题。依然保留了ETL的动作，将数据经过ETL动作进入数据存储。数据分析需求依旧以BI场景为主，但是因为数据量、性能等问题无法满足日常使用。 流式架构 在传统大数据架构的基础上，流式架构数据全程以流的形式处理，在数据接入端将ETL替换为数据通道。经过流处理加工后的数据，以消息的形
linux 深入理解Shell中的输出重定向和错误处理_shell 定向不报错(2)
2401_83620927的博客
05-05 737
在Unix-like系统中，I/O流的重定向是常见的操作，它可以改变命令输出的去向。stdoutstderrstdin如图展示了两个nc命令的运行情况，它们的重定向操作有所不同。
Hadoop源码编译及常见报错【持续更新】
weixin_43824019的博客
04-29 1937
Hadoop源码编译常见报错【持续更新，若有其他解决问题，也可留言，会持续修改】 以下列配置为例：只针对于linux 安装版本：hadoop3.2.2 虚拟机：CentOS-8 仔细阅读源码安装说明-BUILDING.txt（务必安装完全），各个版本的hadoop源码文档略有不同，大致思路是一致的，请根据自己的源码文档进行安装!!! 一、requirement Requirements: * Unix System * JDK 1.8 * Maven 3.3 or later * ProtocolBu
故障案例及shell脚本案例
weixin_44112402的博客
07-10 823
当在数据特别大的时候，如果执行的sql语句没有索引，就会造成扫描表的行数过大导致I/O阻塞，或者是语句中存在死锁，也会造成I/O阻塞，从而导致不可中断睡眠进程过多，导致负载过大。上面说过，cpu的工作效率要高于磁盘，而进程在cpu上面运行需要访问磁盘文件，这个时候cpu会向内核发起调用文件的请求，让内核去磁盘取文件，这个时候会切换到其他进程或者空闲，这个任务就会转换为不可中断睡眠状态。当这种读写请求过多就会导致不可中断睡眠状态的进程过多，从而导致负载高，cpu低的情况。D 状态是指不可中断的睡眠状态。
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 7万+
对kafka细致的解析，从理论到集群搭建实战
filebeat使用kafka作为input（filebeat从kafka中读取数据）报错解决
soulfire的博客
12-16 3462
项目场景： filebeat 7.10 kafka 0.11 windows 10 filebeat使用kafka作为input，从kafka读取数据到ElasticSearch 官方文档 问题描述： 根据kafka input 官方文档配置好filebeat.yml，并启动filbeat从指定kafka的某topic读取数据。 kafka的配置是正常的，已经在其它环境尝试过生产\消费数据。 filbeat报如下错误： ERROR [kafka input] kafka/input.go:155
Error_establishing_socket的解决方法
LE5YO
06-09 951
Error establishing socket的解决方法如果你在测试连接SQL Server 2000 JDBC连接时出现错误Error establishing socket.请参考如下：用 CMD 命令NETSTAT查1433(这是默认的端口,可能被占用,你可以重新设一个新的端口)的端口可是居然没有没有打开,先看看你的服务器有没有打开,如果都大开了那就说明你没有装SQL的sp3或s
Kafka fetching topic metadata failed
chuhaolan1184的博客
10-21 1311
###问题重现 [2015-10-20 17:03:43][INFO] [Connected to 127.0.0.1:1092 for producing] [kafka.utils.Logging$class.info(Logging.scala:68)] [group1_byd0030-...
Kafka系列2-producer和consumer报错
kuluzs
06-03 6万+
1. 使用127.0.0.1启动生产和消费进程： 1）启动生产者进程： bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test 输入消息： this is msg 生产者进程报错： [2016-06-03 11:33:47,934] WARN Bootstrap brok
Kafka连接问题，导致Spark数据分析中断
江南的专栏
10-09 9764
2016-10-08 15:12:52,604 [myid:2] - WARN [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@349] - caught end of stream exception EndOfStreamException: Unable to read additional data from client sessionid 0x55de68ef7f4bcd, likely client has closed so
启动kafka无反应_kafka producer卡住不动
weixin_35187410的博客
01-13 2707
[root@DX2-1 kafka_2.10-0.8.2.0]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic[2016-01-03 22:49:56,215] WARN Property topic is not valid (kafka.utils.VerifiablePropertie...
kafka 所遇到的问题梳理
lucas872870116的博客
11-12 2524
最近使用kafka总是出错 一些概念性的问题梳理不清楚,朋友也总会问到这一类的问题 顾总结如下 说的可能不对 阅读者挑取有用信息 kafka 一.基础介绍 1.kafka是什么 基于传统的是 :缓冲的消息队列 1)分布式 : 类似于HDFS分布式 2)kafka和Channel的区别? 缓冲量大小,及后面对接组件.Kafka对接计算引擎或者存储等框架; Channel对接 的是Sink ...
Kafka收不到消息(本人遇到的情况)
mhw666的博客
09-10 5187
报错如下 19/09/10 09:02:40 WARN ClientUtils$: Fetching topic metadata with correlation id 0 for topics [Set(nb6)] from broker [id:0,host:node01,port:9092] failed java.nio.channels.ClosedChannelException a...
kafka connect启动报错
08-17
Kafka Connect是Apache Kafka的一个组件，用于数据源和数据 sink 的集成，允许将数据从各种数据源迁移到Kafka，或将Kafka的数据导出到其他目的地。如果在启动Kafka Connect时遇到错误，通常可能是以下几个原因： 1. **配置文件问题**：检查`connect-worker.properties`或`worker-configs`文件中的配置是否正确，如broker地址、任务插件的依赖、日志级别等。 2. **依赖缺失**：确保所有必要的库和服务已经安装并可用，包括Java环境、Kafka服务器、以及相关的连接适配器（例如JDBC connector需要数据库驱动）。 3. **资源限制**：检查是否有足够的内存和磁盘空间供Connect使用，特别是当处理大量数据或配置了复杂的转换操作时。 4. **权限不足**：如果Kafka Connect尝试访问某些系统资源（比如读写文件），可能会因为权限设置错误而失败。 5. **插件冲突**：如果你添加了自定义插件或者与其他插件有版本冲突，可能导致启动失败。 6. **服务未启动**：确认Kafka服务本身已正常运行，因为Connect需要与其通信。 7. **日志错误**：查看Kafka Connect的日志文件，通常会包含详细的错误信息，有助于定位问题。 解决这类问题的常见步骤是先查看错误日志，然后逐项排查上述可能性。如果问题仍然存在，可以考虑查阅官方文档或社区论坛寻求帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值